Você já se perguntou quais bots de SEO são os mais bloqueados? Isso pode afetar a qualidade dos dados que as ferramentas fornecem.
O bloqueio desses bots afetará principalmente o índice de links das ferramentas. Eles não serão capazes de rastejar as páginas, para que não possam verificar onde essas páginas estão ligando. Não importa para estimativas de tráfego, classificações de palavras -chave, páginas principais, etc. elas são construídas a partir de diferentes fontes de dados.
Para o AHREFS, isso também afetaria os links internos que mostramos e o recurso de histórico de páginas que mostra alterações nas suas páginas ao longo do tempo, o que você pode precisar em algum momento. Ahrefsbot também alimenta o índice para o nosso mecanismo de pesquisa, Yep.comentão bloquear o AHREFSBOT significa que você não apareceria nos resultados de pesquisa do YEP.
Observamos ~ 140 milhões de sites para ver com que frequência os robôs de SEO foram bloqueados. Eu quero dar um enorme agradecimento ao nosso cientista de dados Xibeijia Guan para puxar esses dados.
Aqui estão os três principais bots de SEO mais bloqueados:
- MJ12BOT (Majestic). Bloqueado em 6,49% de todos os sites.
- Semrushbot. Bloqueado em 6,34% de todos os sites.
- AHREFSBOT. Bloqueado por 6,31% de todos os sites.
Observamos o número total de sites que bloqueiam os bots. Existem muitas maneiras de bloquear bots com robots.txt, e isso explica todos eles, incluindo:
- Blocos explícitosonde o bot é mencionado e proibido
- Blocos geraisonde todos os bots podem ser bloqueados
- Qualquer instância em que uma diretiva permitiu o botdepois de bloquear todos os bots
Advertências: isso não inclui outros tipos de bloco, como firewalls ou blocos IP.
Como mencionei anteriormente, o bot mais bloqueado é o MJ12BOT da Majestic. Eu suspeito que há algumas razões para isso.
- Eles são um rastreador distribuído, o que significa que você não pode procurar ou bloqueá -los pela IPS, o que os torna menos confiáveis.
- Eles estão rastejando a web há mais tempo.
- Eles têm uma base de usuários menor do que as ferramentas de SEO mais populares e, portanto, menos alavancagem para remover qualquer bloco.
Aqui estão os robôs de SEO mais bloqueados:
E o total de sites que bloqueiam os robôs de SEO:
Aqui estão os dados:
| Nome do bot | Contar | % % | Operador de bot |
|---|---|---|---|
| MJ12BOT | 9081205 | 6.49 | Majestoso |
| Semrushbot | 8868486 | 6.34 | Semrush |
| AHREFSBOT | 8831316 | 6.31 | Ahrefs |
| Dotbot | 8569766 | 6.13 | Moz |
| Blexbot | 8374216 | 5.99 | SEO PowerSuite |
| Serpstatbot | 7878935 | 5.63 | Sertstat |
| DataForseObot | 7872939 | 5.63 | DataForsoo |
| Semrushbot-CT | 7855400 | 5.62 | Semrush |
| Barkrowler | 7804425 | 5.58 | Enorme |
| Semrushbot-BA | 7796785 | 5.57 | Semrush |
| Semrushbot-SWA | 7789812 | 5.57 | Semrush |
| Semsrushbotter | 7789062 | 5.57 | Semrush |
| Seokicks | 7758904 | 5.55 | Seokicks |
| Spranha de Seo Screaming Frog | 7711108 | 5.51 | Sapo gritando |
| LinkDexBot | 7704425 | 5.51 | LinkDex |
| DomainstatsBot | 7696944 | 5.5 | Domainstats |
| Zoombot | 7669495 | 5.48 | Seozoom |
| Sitecheckerbotcrawler | 7666545 | 5.48 | Sitechecker |
| Cocolyzebot | 7666233 | 5.48 | Cocolis |
| SeobilityBot | 7664228 | 5.48 | Seobilidade |
| SenutoBot | 7655145 | 5.47 | Senuto |
| Hipestat | 7648671 | 5.47 | Hipestat |
| Online-Webceo-Bot | 7648444 | 5.47 | Webceo |
| BrightEdge Crashler | 7648139 | 5.47 | BrightEdge |
| Seolizer | 7648112 | 5.47 | Seolizer |
Fica um pouco mais complicado de analisar. Para o exposto, analisamos o arquivo principal robots.txt para um site, mas todo subdomínio pode ter seu próprio conjunto de instruções. Se olharmos para os ~ 461m robots.txt no total, o Bot de SEO mais bloqueado será o SEMRushbot em 5,76%. Aqui estão os 5 primeiros:
- Semrushbot: 5,76%
- Dotbot (MOZ): 5,34%
- MJ12BOT (Majestic): 4,96%
- Blexbot: 4,88%
- AHREFSBOT: 4,67%
Para esta medida, estamos analisando apenas os casos em que um bot em particular não é permitido. Ele não inclui nenhuma declaração geral não permitida ou casos em que apenas certos bots possam ser permitidos. Nesses casos, os proprietários de sites se esforçaram para bloquear especificamente certos bots.
O bot de Majestic é o mais direcionado, seguido pelo Bot de Moz.
Aqui estão os robôs de SEO mais bloqueados por menções explícitas:
Aqui está o número de sites bloqueando explicitamente os robôs de SEO:
Aqui estão os dados:
| Nome do bot | Contar | % % | Operador de bot |
|---|---|---|---|
| MJ12BOT | 2000372 | 1.43 | Majestoso |
| Dotbot | 1402305 | 1 | Moz |
| AHREFSBOT | 1350771 | 0,97 | Ahrefs |
| Semrushbot | 1285857 | 0,92 | Semrush |
| Blexbot | 861184 | 0,62 | SEO PowerSuite |
| Serpstatbot | 354683 | 0,25 | Sertstat |
| DataForseObot | 284694 | 0,2 | DataForsoo |
| Barkrowler | 276332 | 0,2 | Enorme |
| Seokicks | 219961 | 0,16 | Seokicks |
| Semrushbot-CT | 211895 | 0,15 | Semrush |
| LinkDexBot | 166405 | 0,12 | LinkDex |
| DomainstatsBot | 157053 | 0.11 | Domainstats |
| Semrushbot-BA | 154349 | 0.11 | Semrush |
| Semsrushbotter | 147999 | 0.11 | Semrush |
| Semrushbot-SWA | 146261 | 0.1 | Semrush |
| Zoombot | 125310 | 0,09 | Seozoom |
| Sitecheckerbotcrawler | 122574 | 0,09 | Sitechecker |
| Cocolyzebot | 121737 | 0,09 | Cocolis |
| SeobilityBot | 117558 | 0,08 | Seobilidade |
| Spranha de Seo Screaming Frog | 87673 | 0,06 | Sapo gritando |
| SenutoBot | 54978 | 0,04 | Senuto |
| Hipestat | 861 | 0 | Hipestat |
| SenutoBot | 54978 | 0,04 | Senuto |
| Hipestat | 861 | 0 | Hipestat |
| Online-Webceo-Bot | 659 | 0 | Webceo |
| BrightEdge Crashler | 289 | 0 | BrightEdge |
| Seolizer | 253 | 0 | Seolizer |
Olhamos para os sites de 1M superiores do DR, que se alinham a sites com um DR> 45. Semrush é o mais bloqueado seguido por Majestic e Moz.
Veja como isso é dividido para cada bot individual em diferentes categorias de sites. Os 3 primeiros são:
- Autos_and_vehicles: 39%
- Books_and_literature: 27%
- Imobiliária: 17%
Indo pelos pedidos de bot em Radar de nuvemAhrefs é de longe o rastreador mais rápido no espaço de SEO. ~ 4,6x mais rápido que MOZ e ~ 6,7x mais rápido que o SEMRush.
