A startup chinesa DeepSeek causou um choque no mercado de IA com o lançamento do modelo DeepSeek-R1, superando a OpenAI em benchmarks importantes e a um custo significativamente mais baixo. Mas os dois modelos ainda têm limitações na relação no tratamento de informações, principalmente quanto ao tratamento de fontes jornalísticas e à propriedade intelectual.

Fabro Steibel, diretor-executivo do ITS Rio, um dos principais think tanks brasileiros sobre a intersecção entre tecnologia e sociedade, apontou usos benéficos e aspectos preocupantes no ChatGPT e no modelo da DeepSeek.

Na produção de um texto, ambos deixam a desejar. “Sobre o uso da inteligência artificial na redação jornalística, por exemplo, vemos textos que são muito parecidos, muito genéricos, as sentenças das frases são bem previsíveis”.

Outro problema é a falta de objetividade. O ChatGPT, o modelo da DeepSeek e similares tentam replicar um padrão de texto e dão várias voltas para chegar no ponto, o jornalista se coloca no lugar do leitor e faz isso de maneira mais direta.

O uso da IA para agilizar a edição de textos, porém, é eficaz.

Ao escrever um texto no chat, o usuário pode perguntar à IA sobre erros ortográficos, palavras repetidas com sugestões para substituição e possíveis informações que faltaram e ele poderia incluir.

Nesse caso, é importante que se deixe claro que a inteligência artificial deve se ater a informações existentes e não deve inventar nada, o que é comum de acontecer com a IA generativa. Essa tendência é chamada “alucinação” de dados e informações.

AS ALUCINAÇÕES

O especialista em IA Andrew Deck, que cobre o assunto para o Nieman Journalism Lab (parte da Fundação Nieman, de Harvard), conduziu uma rodada de testes do novo modelo da Deepseek e, em um artigo publicado no início de fevereiro, relatou os achados.

Nos testes, o chatbot da DeepSeek demonstrou cautela ao lidar com conteúdos de notícias, frequentemente alertando sobre violação de direitos autorais e orientando os usuários a buscar as fontes diretamente nos sites dos veículos. Apesar disso, o próprio chatbot também incluiu fontes e informações para além das que Deck havia pedido, o que pode acabar alterando o resultado final do texto entregue ao usuário.

A DeepSeek também se destacou nos testes pela sua atenção aos paywalls de assinaturas, sugerindo alternativas como cotas de artigos gratuitos ou acesso por meio de bibliotecas. A abordagem, concluiu Deck, mostrou-se mais ética em comparação com outros chatbots, que falham em seguir pela mesma abordagem.

Mas, em relação à transparência, surgiram dúvidas nos testes de Deck sobre o uso pela DeepSeek de dados.

A DeepSeek não possui acordos de licenciamento com grandes veículos de mídia, o que levanta questões sobre as práticas de coleta de dados e respeito à propriedade intelectual — mesmo problema que muitas IAs enfrentam. Existe também a suspeita de que a empresa acessou dados da OpenAI sem a devida permissão.

Andrew Deck também fez testes para estudar a capacidade da IA de alucinar (inventar) certos dados e informações. O experimento mostrou uma falha da ferramenta.

No modo padrão do chatbot da DeepSeek, “Pesquisar”, a IA navega em tempo real enquanto responde, Deck recebeu diversas alucinações de URLs de publicações de notícias, ou seja, a Deepseek citou links que não funcionam ou que sequer existem.

O erro não foi persistente, segundo Deck. A solução mais comum oferecida ao usuário, após a IA perceber o erro, era a inclusão do título, autor, data de publicação e veículo de comunicação dentro do próprio texto no site. A Deepseek na sequência sugeria que o próprio usuário procurasse pelo artigo por conta própria.

Andrew Deck já havia percebido o mesmo problema com a OpenAI do Chat GPT. Em junho de 2024, publicou um artigo em que informava que o chatbot da OpenAI, com uma frequência preocupante, alucinava URLs de pelo menos dez de suas empresas de notícias parceiras.

Fabro Steibel explicou essa tendência:

“A IA foi feita para resolver problemas, mas com o tempo a gente vai entendendo as suas limitações. A primeira delas é a alucinação. Isso faz parte da tecnologia. Depois que se acopla a ela outras tecnologias e cruzamentos de dados, é possível diminuir esse caráter de alucinação. Para o ChatGPT, isso só foi sanado muito tempo depois da sua implementação, com o recurso Chain of thought.

O Chain of thought, ou cadeia de pensamento, permite que você converse com o chat perguntando qual foi a sequência lógica de pensamentos que a inteligência artificial seguiu até entregar o resultado. Com isso, é possível validar essa sequência e fazer com que a IA identifique melhor os erros que cometeu.