IA e Medicina
Busca por evidências sobre a relação entre o LDL e Risco Cardiovascular: uma comparação de ferramentas de Deep Search e Deep Research
Comparação publicada dia 09/03/2025
Para acessar a comparação anterior: https://ia-e-medicina-deepsearch-8ul664a.gamma.site/
Comparação dos serviços de Deepsearch + OpenEvidence
Nesta análise, foram comparadas diferentes ferramentas de IA, em seus modos "Deep Search" e "Deep Research". Cada ferramenta apresenta características distintas na forma como organiza e apresenta informações científicas.
O que são e como Funcionam
Deep Search
O deepsearch funciona essencialmente como um ciclo de pergunta e resposta.
Deep Research
Inclui e expande as etapas do Deep Search
Na prática:
Imagine que você quer encontrar um ketchup com a menor quantidade de sal e açúcar para comprar. Você vai ao mercado e vai pegar cada ketchup da prateleira, um a um, e ler cada rótulo. Se houver 20 ketchups diferentes, você vai anotar a quantidade de sal e açúcar de cada um deles num pedacinho de papel até que, no fim das contas, poderá fazer sua análise e escolher seu ketchup. De forma meio simplista, é isso que a Deep Search faz.
E o que uma Deep Research faz?
A mesma coisa, mas com mais etapas de processamento anterior, posterior e potencialmente mais etapas de loop. O que significa dizer que se a pergunta for trivial (ketchup com menos sal e menos açúcar), a diferença entre search e research será pequena. Mas se você adicionar condicionais: “qual ketchup com menos sal, menos açúcar, sem corantes artificiais, maior proporção de ingredientes naturais e com o melhor custo benefício financeiro”, a research tem maior potencial de te entregar respostas melhores.
Objetivo geral
O objetivo geral deste documento é o de comparar ferramentas de Deep Research na busca por evidências entre relação entre o LDL e o risco cardiovascular.
Trata-se de um tema cujas evidências são relativamente consolidadas, o que permite uma análise preliminar sobre os resultados entregues pelas ferramentas: a proposta desta comparação é avaliar se as ferramentas de Deep Research são capazes de auxiliar profissionais da saúde a i) encontrar literatura técnica adequada e ii) auxiliar no processo de tomada de decisão clínica.
Objetivos específicos
  1. Comparar os resultados (outputs) das ferramentas de IA usando prompts em inglês versus em português.
  1. Comparar as ferramentas de Deep Search e Deep Research em relação à extensão de suas respostas.
  1. Comparar as ferramentas de Deep Search e Deep Research em relação à qualidade de suas respostas.
Metodologia da Pesquisa
1
Ferramentas Testadas
Deep Search: Jina e Grok-3
Deep Research: ChatGPT, Gemini e Perplexity
Referência clínica: OpenEvidence
2
Prompts Utilizados
Consultas idênticas em português e inglês sobre a relação entre colesterol LDL e risco cardiovascular.
3
Análise Quantitativa
Contagem de palavras para comparar extensão das respostas entre idiomas e ferramentas.
4
Análise Qualitativa
Comparação com referências do UpToDate, avaliada pelo DeepThink-R1 para evitar vieses.

Prompts originais

Prompt PTBR Forneça um relatório completo e abrangente das melhores evidências técnicas sobre a relação entre o colesterol LDL e o risco cardiovascular. De maneira mais específica: existe uma "recomendação indireta" geral que define os níveis de colesterol abaixo de 100 mg/dL como mais adequados (ou recomendados) e estabelece que níveis mais altos de colesterol são associados com piores desfechos cardiovasculares. Há alguma evidência que apoie essas suposições? Além disso, avalie a qualidade das evidências encontradas, bem como o nível de recomendação delas. Por fim, organize o conjunto das melhores evidências da maneira mais direta e prática possível. Prompt EN Provide a comprehensive and thorough report of the best technical evidence regarding the relationship between LDL cholesterol and cardiovascular risk. More specifically, there is a general "indirect recommendation" that defines cholesterol levels below 100 mg/dL as more appropriate (or recommended) and suggests that higher cholesterol levels are associated with worse cardiovascular outcomes. Is there any evidence supporting these assumptions? Additionally, evaluate the quality of the evidence you find, as well as its level of recommendation. Finally, organize the best available evidence in the most direct and practical way possible. Prompt de concordância (DeepThink - R1) Three guidelines from UpToDate on cholesterol management in patients with different cardiovascular risk levels are attached. The text below was obtained in response to the following prompt: "Provide a comprehensive report on the best technical evidence regarding the relationship between LDL cholesterol and cardiovascular risk. Specifically, is there an indirect recommendation that defines LDL cholesterol levels below 100 mg/dL as more appropriate (or recommended) and establishes that higher cholesterol levels are associated with poorer cardiovascular outcomes? Is there evidence to support these assumptions? Additionally, evaluate the quality of the evidence found and the level of recommendation. Finally, organize the best evidence in the most direct and practical way possible." Your task is to compare the text below with the attached PDF documents and rate, on a scale of 0 to 100, with 0 being completely discordant and 100 being completely concordant, how well the recommendations presented in the text below align with the recommendations established by the PDF documents. <text></text>Your task is to compare the text below with the attached PDF documents and rate, on a scale of 0 to 100, with 0 being completely discordant and 100 being completely concordant, how well the recommendations presented in the text below align with the recommendations established by the PDF documents. Referências do Uptodate: Atherosclerotic cardiovascular disease risk assessment for primary prevention in adults. Low-density lipoprotein cholesterol-lowering therapy in the primary prevention of cardiovascular disease. Management of low-density lipoprotein cholesterol (LDL-C) in the secondary prevention of cardiovascular disease.

Resultados da Pesquisa
Contagem de palavras
No eixo y, foi representada a quantidade de palavras.
As respostas em inglês foram consideravelmente mais extensas que as em português.

Gráfico completo - contagem de palavras.

Gráfico completo - contagem de palavras.

Comparação Qualitativa - concordância com o Uptodate via Deepthink R1
No eixo y, foi representado o percentual (de 0 a 100%) de concordância.
Sob o ponto de vista qualitativo, analisado pelo DeepThink-R1, a diferença entre as respostas é praticamente negligenciável.
O ChatGPT produziu o relatório mais detalhado, enquanto o OpenEvidence apresentou a maior concordância com as diretrizes do UpToDate, apesar de respostas mais concisas.

Gráfico completo - comparação qualitativa.

Gráfico completo - comparação qualitativa.

Links para as chats com as IAs

GPT PTBR: https://chatgpt.com/share/67c71752-8234-8006-a24a-3962980cac19 GPT EN: https://chatgpt.com/share/67cd742b-74e4-8006-9998-7482fd2ecd1f Gemini PTBR: https://g.co/gemini/share/4cdfc0a69acb Gemini EN: https://g.co/gemini/share/05b585aec550 Grok PTBR: https://x.com/i/grok/share/K4Ji1vov5eCWaW55nGfo5A4aD Grok EN: https://x.com/i/grok/share/O9lTGXhusgn33uhOuzWBFZDVJ Perplexity PTBR: https://www.perplexity.ai/search/forneca-um-relatorio-completo-.5pfvF8pQRqjxHTAZjM0fg Perplexity EN: https://www.perplexity.ai/search/provide-a-comprehensive-and-th-5w_63qnkR3eJcHK8F7MCKg

Conclusões e Recomendações
  1. À exceção do OpenEvidence, nenhuma ferramenta de IA usou apenas referências bibliográficas técnicas (artigos científicos e correlatos). O Gemini e o chatGPT aparentemente fazem um ranking com as referências mais relevantes, mas é impossível afirmar o quanto essa relevância afeta o resultado final.
  1. À exceção do OpenEvidence, as demais ferramentas de IA aparentemente não têm acesso aos artigos científicos completos, utilizando apenas os resumos para a confecção de suas respostas. Isso indica um problema mais grave: não há, portanto, uma "análise crítica" dos trabalhos, apenas um trabalho de síntese de informações gerais a partir dos resumos encontrados.
  1. No tema escolhido para esta comparação (colesterol e risco cardiovascular), aparentemente isso não foi um problema para a formulação de textos minimamente corretos sob o ponto de vista técnico. No entanto, com outros temas, mais raros ou controversos, o impacto dessa construção de conhecimento meramente baseada em "colagem", é temerária e pouco recomendável como fonte única ou principal de estudos.
Resumo visual dos resultados

1

2

3

1
Melhor escolha para decisão clínica
OpenEvidence
2
Melhor para estudo aprofundado
ChatGPT em inglês
3
Melhor prática atual
Combinar IA com as diretrizes estabelecidas
  1. Quantitativamente, prompts em inglês geram respostas mais extensas.
  1. Para aprofundamentos temáticos, o ChatGPT com prompt em inglês oferece mais material.
  1. Para tomada de decisão clínica, o OpenEvidence apresenta a melhor relação custo-benefício, com respostas concisas e alta concordância com diretrizes estabelecidas.
Atenção !

Ainda é cedo para substituir protocolos clínicos e diretrizes terapêuticas por ferramentas de IA como fonte de estudo.
A melhor abordagem é combinar ambos, usando ferramentas como Gemini, GPT ou o NotebookLM.
Próximos passos
  1. Analisar de forma mais pormenorizada, incluindo análise técnicas, dos resultados obtidos pela IA com as últimas diretrizes e consensos sobre LDL e risco cardivascular (ESC, AHA e PCDTs brasileiros).
  1. Avaliar a aplicabilidade de ferramentas de IA "restritas" (NotebookLM) no processo de aprofundamento temático e tomada de decisão.
Quer saber mais? Clique no link abaixo para participar do Newsgroup (gratuito) "IA e Medicina"

WhatsApp.com

IA e medicina (newsgroup)

WhatsApp Group Invite

Autoria: Aydamari Faria-Jr, BSc, MSc, PhD

ia-e-medicina-deepsearch-8ul664a.gamma.site

IA e Medicina - Comparação de Ferramentas de DeepSearch

Deepsearch: uma comparação de ferramentas (26.02.2025)

Linktree

Aydamari Faria-Jr | Instagram | Linktree

Pai e nerd. Falo sobre educação em saúde e IA.