Busca semântica e termos

A base de tudo: o modelo de embeddings

Um modelo de embeddings não gera texto: ele converte títulos e resumos em vetores numéricos, de modo que textos com significado próximo ficam próximos no espaço vetorial (medido pela distância de cosseno). É diferente do modelo de chat, que escreve, rotula e classifica. Por isso o SciForesight os configura separadamente — e trocar o modelo de chat não obriga a recalcular os vetores do projeto.

Em Configurações (Settings) a fonte de embeddings vale para todos os projetos e telas semânticas, e pode ser:

Onde fica no aplicativo

As duas ferramentas ficam em Serviços de IA → Síntese (AI Services → Synthesis) , em duas abas: Busca semântica e Análise contextual de termos & polissemia. O estado de cada aba é preservado ao alternar entre elas. Essa tela exige o módulo Serviços de IA liberado na licença e não deve ser confundida com a tela de mesmo nome da Bibliometria, que cruza dimensões da taxonomia e é descrita em Síntese entre dimensões.

Busca semântica de publicações

1. Criar o índice. Use Criar índice (Build index) para calcular um vetor por publicação refinada a partir do título e do resumo. O contador mostra quantas publicações já estão indexadas. Uma nova indexação reaproveita as publicações que não mudaram, então adicionar dados custa só o que é novo.
2. Consultar em linguagem natural. Descreva um tema, uma hipótese, um método ou uma pergunta. Como a comparação é por significado, o documento não precisa conter as palavras da consulta. Opcionalmente restrinja o intervalo de anos.
3. Ler os resultados. As publicações vêm ordenadas pela similaridade de cosseno (de 0 a 1), com título ligado ao DOI, autores, ano, periódico, palavras-chave e afiliações. O resumo completo abre em um acordeão, e há botões para expandir ou recolher todos e para exportar a lista em CSV com todos os metadados.

Rede de similaridade entre artigos

Com o corpus indexado, a Análise de Redes ganha uma nova relação: Similaridade Semântica (Artigos) (Semantic Similarity (Papers)). Cada nó é um artigo e cada aresta liga textos semanticamente próximos, com peso igual à similaridade de cosseno. A rede é esparsificada por controles que você ajusta:

• Limiar de similaridade (de 0 a 1) — descarta arestas abaixo do valor.
• Vizinhos k-NN (de 1 a 50) — mantém, para cada artigo, só os k vizinhos mais próximos.
• k-NN mútuo — só conserva a aresta quando cada artigo está entre os vizinhos do outro, o que enxuga o mapa.
• Incluir nós isolados — artigos sem nenhuma aresta aparecem no grupo “Não conectados”, ou são omitidos para destacar o componente conectado.

Os grupos são detectados por clusterização espectral, e as arestas trazem a contagem de referências citadas em comum — o que permite comparar a proximidade semântica com a proximidade por citação, como no acoplamento bibliográfico. Se o corpus ainda não estiver indexado, a tela avisa e leva à Busca semântica. Os parâmetros usados vão como primeira tabela dos arquivos exportados.

Análise contextual de termos e polissemia

Uma mesma palavra pode significar coisas diferentes no corpus — “transformer”, “network”, “cell”, “model”. A análise localiza cada ocorrência do termo nos títulos e resumos, calcula a representação do termo no contexto de cada frase e agrupa as ocorrências com contexto parecido: cada grupo é um sentido.

Parâmetros

O diagnóstico de confiabilidade

Agrupar sempre produz grupos — mesmo em um termo que só tem um sentido. Por isso a análise julga a si mesma antes de mostrar qualquer coisa, e o cartão de diagnóstico traz um veredito com o que fazer a respeito:

O indicador de separação dos sentidos é o coeficiente de silhouette, de −1 a 1: abaixo de 0,10 os grupos se sobrepõem; acima de 0,25 os sentidos são bem distintos. Avisos acionáveis — poucas ocorrências, K reduzido, amostra estratificada, um único ano — aparecem com botões de correção, como usar o K automático, remover o filtro de anos ou analisar mais ocorrências.

O que a tela mostra

• Cartões de sentido — nome, proporção das ocorrências, palavras-chave diferenciais e o trecho mais representativo de cada sentido. Quando o termo é uma sigla, a análise sugere a possível expansão encontrada nos textos.
• Mapa semântico — cada ponto é uma ocorrência, com cor e forma por sentido; pontos próximos têm contexto parecido (projeção PCA dos embeddings). Clicar em um sentido filtra as ocorrências.
• Evolução dos sentidos — ocorrências de cada sentido por ano, em barras empilhadas ou agrupadas.
• Deriva conceitual — a distância de cosseno entre o contexto médio do termo em cada ano e no ano-base: valores maiores indicam que o termo passou a ser usado em contextos diferentes. Exige ao menos dois anos de dados.
• Ocorrências — os trechos do corpus com o termo destacado, filtráveis por sentido, ordenáveis, paginados, com link para o DOI, resumo completo sob demanda e exportação em CSV.

Os três gráficos têm a barra de ferramentas padrão do aplicativo: Figura completa (pré-visualização em alta definição), Ocultar controles, Projeto (cores), Idioma dos rótulos e Exportar (PNG, SVG e PDF, além dos dados em CSV e Markdown). A legenda vai embutida na figura exportada.

Próximos passos

• Serviços de IA (LLM) — taxonomias, classificação e o controle de custos.
• Mapas e visualizações — como ler e exportar redes, incluindo a de similaridade.
• Relatórios e exportação — o que registrar para que a análise seja reproduzível.