Aqui está a metodologia:

• Utilizamos dados da Web Analytics para encontrar todos os URLs com um assistente de IA (como chatgpt ou perplexidade) como seu referenciador.
• Marcamos os URLs como uma possível página 404 se o título da página continha “404” ou a frase “não encontrada”.
• Para cada assistente de IA, comparamos o número de 404 páginas possíveis com o número total de URLs referidos para encontrar sua taxa 404.

O ChatGPT possui a maior taxa de 404 páginas, com 1,01% de todos os URLs citados contendo “404” ou “não encontrados” no título da página.

Claude segue com 0,58%dos URLs, seguidos por copiloto (0,34%), perplexidade (0,31%) e gêmeos (0,21%). Mistral tem a menor taxa de 404 (0,12%), mas também envia a menor quantidade de tráfego de referência, tornando -a a menor amostra neste teste.

Este não é um teste perfeito. Cerca de 404 páginas podem não incluir “404” ou “não encontradas” no título da página. E nem todos os links alucinados pelos assistentes de IA receberão cliques (e, portanto, não aparecerão nos dados da Web Analytics); portanto, é provável que estejamos subnotando o número total de URLs alucinados.

Alguma fração dessas 404 páginas também pode ter 404 páginas genuínas e não URLs alucinados. Podemos adicionar um contexto extra a esses dados comparando -se a uma “taxa básica” de 404 páginas. Para fazer isso, analisamos a taxa 404 para todos os URLs exclusivos com o Google como seu referenciador (URLs exclusivos de 629m). Essa taxa de 404 foi de 0,15%.

Com esse contexto extra, é óbvio que as 404 taxas de assistentes de IA são significativamente maiores que a taxa 404 “base” para o Google. Parece provável que Chatgpt, Claude, Copilot, Perplexity e Gêmeos criem URLs alucinados.

A taxa média de 404 em todos os assistentes de IA foi de 0,43%. Comparado à taxa 404 para os URLs referidos pelo Google, os assistentes de IA enviam visitantes para 404 páginas em 2.87x a taxa de pesquisa do Google (0.43/0.15).

• Encontramos todos os URLs citados por ChatGPT, Perplexity, Copilot e Gêmeos em nossos bancos de dados de radar da marca.
• Para esses URLs também armazenados em nosso banco de dados RAWLER (65% do total de URLs), recuperamos o status HTTP mais recente.
• Para cada assistente de IA, calculamos a taxa 404 de URLs citados em nosso banco de dados RAWLER.

A taxa de 404 URLs citados (e não apenas citada e URLs clicados) é muito maior do que em nosso teste anterior.

Novamente, o ChatGPT tem a maior taxa de 404 páginas (2,38%), seguida de perplexidade (0,87%) e Gêmeos (0,86%) em sucessão estreita. O copiloto tem a menor taxa de 404, em 0,54%.

Este teste também tem limitações. Como antes, algum número dessas 404 páginas retornará um status de 404 por algum motivo que não seja alucinação. Também estamos subestimando o número total de 404 URLs, porque só podemos ver o status HTTP para os URLs que estão em nosso banco de dados de rastreador (e eu esperaria que uma porcentagem decente dos URLs alucinados esteja ausente do nosso banco de dados de rastreadores, porque nunca existiram).

Como antes, queríamos comparar esses números com uma taxa 404 de “linha de base”. Para fazer isso, extraímos todos os URLs únicos das 20 principais posições de 400.000 SERPs.

67% desses URLs também estavam em nosso banco de dados de rastreador, permitindo determinar uma taxa de 404 de 0,84%. (Ou, simplesmente, 0,84% dos URLs no Top 20 do Google retornam um status 404.)

As taxas de 404 para perplexidade (0,87%) e gêmeos (0,86%) estão extremamente próximas da taxa de 404 para o Google Serps (0,84%).

Isso pode ocorrer porque Gêmeos e Perplexidade usam o índice de pesquisa do Google para recuperar URLs: suas taxas 404 refletem a taxa de 404 URLs na fonte subjacente, Google. Nesse caso, parece provável que eles tenham uma taxa de alucinação mais baixa que o ChatGPT.

A Copilot usa o índice de pesquisa do Bing, por isso é possível que a taxa 404 da Copilot reflita a taxa 404 do Bing.

(Isso também explica por que existe um alto número dessas 404 páginas em nosso banco de dados de rastreador.)

Outra parte dos URLs citados são as verdadeiras alucinações, no sentido de que elas se encaixam no padrão esperado dos URLs para um determinado site, mas na verdade não existem.

Para o blog Ahrefs, os URLs alucinados mais visitados são páginas como /blog/internal-links/e /blog/newsletter/. Dado que escrevemos sobre tópicos de SEO em nosso blog e temos um boletim informativo, esses URLs se encaixam no padrão das páginas típicas do blog do Ahrefs – mas elas realmente não existem.

Alguns desses links alucinados também podem estar presentes em nosso banco de dados de rastreador. Se o conteúdo gerado pela IA publicado contiver um URL alucinado, nosso rastreador tentará buscá-lo. Com 74% das novas páginas da Web contendo uma quantidade de conteúdo gerado pela IA, isso parece muito possível.

Se você deseja medir o impacto dos URLs alucinados, a melhor fonte de dados à sua disposição é o seu próprio site. Veja como testar isso por si mesmo:

Comece filtrando o seu site Analytics para mostrar as visitas recebidas dos assistentes de IA. Se você usar o GA4, precisará aplicar uma expressão regular à dimensão da fonte da sessão em um relatório de exploração.

Em seguida, filtre sua folha para mostrar apenas URLs retornando um código de status 404 e recebendo visitantes.

Defino o limite para os URLs que recebem mais de 10 visitantes por mês, mas você pode usar qualquer limite que faça sentido para o seu site.

Você pode inspecionar manualmente alguns desses URLs para confirmar que são alucinados (e não páginas reais de sites que não estão disponíveis por algum outro motivo).

Você precisará adivinhar o que a página alucinada pode ter sido, mas muitas vezes o URL sozinho será suficiente para fazer um palpite (visitantes do URL alucinado /blog/keywords/ Provavelmente se beneficiará do nosso verdadeiro guia para a pesquisa de palavras -chave).

Ou, se você não deseja criar uma teia de aranha de 301 redirecionamentos, poderá atualizar sua página 404 para incluir uma lista de recursos úteis que os visitantes decepcionados do LLM podem achar úteis (como seu conteúdo mais popular ou sua página de assinatura de boletim).

Devo me preocupar com isso?

Este é um exercício útil para entender outra idiossincracia da pesquisa de IA, mas não representa uma grande alavanca de crescimento. Se você puder minimizar o impacto de URLs alucinados com Muito pouco esforçoprovavelmente vale a pena.

Por esse motivo, estamos prestes a adicionar um novo filtro à análise da Web que o ajudará a encontrar URLs alucinados em apenas dois cliques. Se você está procurando uma alternativa simples do Google Analytics, gratuita para até 1 milhão de eventos a cada mês, confira: