Estudo mostra como pessoas avaliam conteúdo gerado por IA

A expansão da inteligência artificial generativa está alterando não apenas a forma como as pessoas produzem informação, mas também o modo como avaliam o que leem. Um estudo publicado na PLOS One examinou como adultos adaptam suas estratégias de verificação ao comparar um motor de busca tradicional, o Google, e um sistema de IA generativa, o Bing Chat, hoje Copilot. A pesquisa mostra que, embora os participantes tenham usado estratégias conhecidas de avaliação em ambas as plataformas, o comportamento mudou de forma relevante quando a informação vinha de uma ferramenta conversacional baseada em IA.

O tema é especialmente importante em um momento em que sistemas generativos já fazem parte do cotidiano de milhões de usuários e passam a mediar buscas sobre temas sensíveis, incluindo dilemas científicos e socio científicos. O estudo observou 30 adultos de diferentes níveis educacionais, em tarefas de avaliação de informações relacionadas a questões como dietas detox, utensílios descartáveis, vacinas e radiação. A partir das observações e entrevistas, os autores identificaram que a estrutura da plataforma influencia diretamente a maneira como o usuário constrói confiança, verifica dados e decide se a resposta é confiável ou não.

Como a pesquisa foi conduzida

A investigação combinou tarefas práticas, observação e entrevistas semiestruturadas. Os participantes foram divididos em perfis heterogêneos, com diferentes formações acadêmicas, experiências com ciência e conhecimento sobre algoritmos. O objetivo foi capturar como essas pessoas se comportariam ao buscar orientação sobre dilemas relacionados à ciência em duas interfaces distintas: uma ferramenta de busca clássica e um modelo de IA generativa que apresenta respostas em formato de conversa.

Os autores escolheram o Bing Chat porque, no período da coleta de dados, entre junho e agosto de 2023, ele oferecia acesso à internet, citava fontes e se comunicava bem no idioma local, o que permitia uma comparação mais direta com o Google. A opção pelo Google também faz sentido por sua dominância global como mecanismo de busca. Na prática, a comparação coloca lado a lado dois modelos muito diferentes de acesso à informação: no primeiro, o usuário precisa selecionar e abrir fontes; no segundo, recebe uma resposta sintetizada pela IA e, em seguida, pode consultar os links apresentados pelo sistema.

Essa diferença de arquitetura é central para entender os resultados. Em motores de busca, a avaliação costuma começar pela escolha da fonte. Em sistemas generativos, a resposta já vem pronta, o que tende a deslocar a atenção do usuário para o conteúdo produzido pela IA antes mesmo de investigar as origens. Esse detalhe muda a dinâmica da verificação e ajuda a explicar por que surgiram padrões específicos de confiança no ambiente de IA.

Estratégias de avaliação e adaptação ao ambiente de IA

O estudo identificou três estratégias principais de avaliação crítica: análise do conteúdo, corroboracão e avaliação da fonte. Em termos simples, avaliar conteúdo significa julgar se a informação parece plausível; corroborar é buscar confirmação em outras fontes; avaliar a fonte é observar quem produziu a informação e qual a credibilidade desse emissor.

No Google, os participantes tendiam a adotar essas estratégias de forma próxima ao que a literatura recomenda. A maioria avaliou o conteúdo com base em conhecimento prévio e plausibilidade. Muitos consultaram pelo menos três fontes diferentes. Também houve atenção ao tipo de site, com preferência por páginas oficiais, sites de saúde e artigos acadêmicos. Além disso, os entrevistados frequentemente mencionaram a importância de considerar a expertise do autor e a confiabilidade institucional da página acessada.

No ambiente do Bing Chat, porém, a lógica mudou. Os participantes também avaliaram o conteúdo e fizeram checagens, mas não verificaram a fonte da mesma maneira que fariam em uma busca tradicional. Em vez de perguntar se outras fontes confiáveis confirmavam a informação, muitos passaram a verificar se a IA resumiu corretamente os links que ela própria exibiu. Os autores chamaram essa prática de avaliação da representação. Em outras palavras, o usuário não estava cruzando a informação de forma independente; estava testando se a IA representava bem o que diziam as fontes citadas por ela.

Outra adaptação observada foi a chamada metaavaliação da fonte. Nesse caso, os participantes julgavam a confiabilidade da IA com base na reputação dos sites que ela listava, sem examinar profundamente esses sites. Era uma forma indireta de avaliação: em vez de investigar a fonte em si, o usuário atribuía confiança à IA conforme os nomes e domínios apresentados. A pesquisa mostra que esse comportamento foi frequente o suficiente para se tornar um padrão interpretativo relevante no estudo.

O papel da heurística da máquina e do viés de confirmação

Além das estratégias críticas, o estudo encontrou dois vieses cognitivos importantes: o viés de confirmação e a chamada heurística da máquina. O primeiro aparece quando a pessoa busca, interpreta ou valoriza mais aquilo que reforça crenças já existentes. O segundo é a tendência de considerar sistemas automatizados mais objetivos, corretos ou confiáveis do que seres humanos.

O viés de confirmação apareceu nos dois ambientes. Em outras palavras, os mesmos participantes que já tinham uma posição inicial sobre determinado tema procuraram, no Google e no Bing Chat, evidências que reforçassem sua opinião. Isso indica que a plataforma altera a forma de busca e checagem, mas não elimina automaticamente as predisposições cognitivas do usuário.

A heurística da máquina, por sua vez, ficou mais evidente no Bing Chat. Vários participantes demonstraram confiar nas respostas geradas pela IA, assumindo que a máquina saberia mais do que eles. Esse comportamento é relevante porque mostra que a interface conversacional pode induzir um nível de confiança que não se baseia necessariamente em verificação detalhada. Em um cenário de informação científica, isso é especialmente sensível, já que respostas com tom confiante podem ser recebidas como corretas mesmo quando não são.

O que o estudo revela sobre busca, confiança e credibilidade

Os resultados sugerem que a mudança de um mecanismo de busca para uma interface generativa não é apenas estética ou funcional. Ela altera a ordem da verificação e reposiciona a confiança. No Google, o usuário navega entre várias fontes e decide quais merecem atenção. No Bing Chat, a resposta sintetizada aparece primeiro, e os links vêm depois. Isso pode reduzir a centralidade da checagem independente e reforçar a sensação de que a própria IA já filtrou o suficiente.

Esse ponto é importante porque a avaliação de informação, especialmente em ciência e saúde, depende de um equilíbrio delicado entre rapidez e rigor. Sistemas generativos são úteis para sintetizar textos e facilitar o acesso a conteúdos complexos, mas também introduzem riscos conhecidos, como opacidade algorítmica, viés nos dados de treinamento e alucinações da IA, quando o sistema produz respostas convincentes, mas incorretas. O estudo não mede diretamente a incidência desses erros, mas mostra que os usuários nem sempre adotam estratégias robustas para detectá-los.

Outro aspecto relevante é a ausência de uso mais profundo do diálogo com a IA como ferramenta de verificação. Todos os participantes conversaram com o chatbot, fazendo pelo menos duas perguntas, mas não exploraram plenamente o potencial dessa interação para testar a confiabilidade das respostas. Os autores argumentam que perguntas do tipo “qual é a evidência dessa afirmação” ou “que consenso científico existe sobre o tema” poderiam transformar o diálogo em um instrumento de avaliação crítica. No entanto, isso não ocorreu de forma espontânea entre os participantes.

Impactos para educação, empresas e uso cotidiano

Na prática, o estudo tem implicações diretas para educação digital, ciência da informação e desenvolvimento de produtos baseados em IA. Para escolas e universidades, os resultados reforçam a necessidade de ensinar não apenas como usar ferramentas digitais, mas como questionar as respostas que elas geram. Isso inclui avaliar fontes, reconhecer vieses cognitivos e entender que a presença de links citados por uma IA não garante, por si só, credibilidade.

Para empresas de tecnologia, a pesquisa sugere que a forma como a informação é apresentada pode influenciar a profundidade da checagem feita pelo usuário. Interfaces conversacionais que sintetizam conteúdos e exibem fontes depois podem incentivar confiança automática, enquanto mecanismos que estimulem perguntas de verificação podem favorecer uma navegação mais crítica. Isso é relevante em setores como busca, educação, saúde digital e atendimento automatizado, onde precisão e transparência são fundamentais.

Para usuários em geral, a principal consequência é prática: não basta ler a resposta da IA; é preciso investigar como ela chegou àquela resposta e quais fontes sustentam o conteúdo. O estudo mostra que a familiaridade com uma interface pode não ser suficiente para avaliar sua confiabilidade. Ao mesmo tempo, a pesquisa demonstra que estratégias já conhecidas, como corroborar informações e analisar credibilidade, continuam válidas, mas precisam ser adaptadas ao contexto de sistemas generativos.

Limitações e próximos passos

Os autores também destacam limitações importantes. Trata-se de uma pesquisa qualitativa com 30 participantes, o que não permite generalizações estatísticas amplas. Além disso, a coleta ocorreu em ambiente controlado, com tarefas específicas e participantes cientes de que estavam sendo observados, o que pode influenciar o comportamento. Outro ponto é que o estudo foi conduzido com um sistema específico, o Bing Chat, num momento particular da evolução das ferramentas generativas.

Apesar dessas limitações, a contribuição é relevante porque identifica padrões emergentes de comportamento em um momento de transição tecnológica. O estudo sugere que o problema central não é apenas a existência de IA generativa, mas a forma como ela reorganiza a confiança, a autoria percebida e a verificação de informações. À medida que mais plataformas passam a incorporar respostas automáticas e resumos gerados por IA, a habilidade de avaliar criticamente esses sistemas tende a se tornar uma competência básica de navegação digital.

Síntese final

A pesquisa publicada na PLOS One mostra que pessoas não apenas usam a IA generativa para buscar informação, mas também ajustam suas estratégias de avaliação ao novo ambiente. Em vez de simplesmente verificar fontes de maneira independente, muitos participantes passaram a validar se a IA havia representado corretamente os links que ela própria exibiu. Esse comportamento, somado à tendência de confiar nas respostas da máquina, ajuda a explicar por que a avaliação de informação em contextos mediados por IA exige novas habilidades.

O estudo aponta, em resumo, que a transição de buscadores tradicionais para sistemas generativos não elimina práticas antigas de checagem, mas muda sua forma e sua eficácia. Em um cenário no qual a IA ocupa posição crescente na mediação do conhecimento, entender essas mudanças é essencial para fortalecer a alfabetização digital, reduzir a sobreconfiança automatizada e promover um uso mais crítico das tecnologias de informação.