Ferramentas
Testar o robots.txt: que bots de IA deixas entrar?
Escreve um domínio. Vou buscar o robots.txt e digo-te, bot a bot, quem pode rastrear o site: motores de pesquisa, crawlers de treino de IA e agentes de fetch em tempo real. Com a regra que decide cada veredicto e o que isso significa para a tua visibilidade.
Nota: leio o ficheiro tal como está agora, com as regras de interpretação da Google. Não guardo o domínio nem o ficheiro, além de uma cache de 10 minutos para não martelar sites alheios.
Os bots que a ferramenta verifica
A mesma matriz do artigo sobre crawlers e bots de IA, mais o Claude-SearchBot e os dois interruptores de opt-out.
| Bot | Operador | Render JS | Finalidade | robots.txt |
|---|---|---|---|---|
| Googlebot | Sim | Índice de pesquisa (alimenta AI Overviews e Gemini) | Respeita | |
| Bingbot | Microsoft | Sim (limitado) | Índice de pesquisa (alimenta Copilot e ChatGPT) | Respeita |
| Applebot | Apple | Sim | Pesquisa (Siri, Spotlight) e treino (Apple Intelligence) | Respeita |
| GPTBot | OpenAI | Não | Treino dos modelos | Respeita |
| OAI-SearchBot | OpenAI | Não | Índice do ChatGPT (pesquisa) | Respeita |
| ChatGPT-User | OpenAI | Não | Fetch em tempo real (a pedido) | Ação do utilizador |
| ClaudeBot | Anthropic | Não | Treino dos modelos | Respeita |
| Claude-User | Anthropic | Não | Fetch em tempo real (a pedido) | Ação do utilizador |
| PerplexityBot | Perplexity | Não | Índice do Perplexity (não treino) | Respeita |
| Perplexity-User | Perplexity | Não | Fetch em tempo real (a pedido) | Ação do utilizador |
| Claude-SearchBot | Anthropic | Não | Índice de pesquisa do Claude | Respeita |
| Meta-ExternalAgent | Meta | Não | Treino da Meta AI | Respeita |
| Amazonbot | Amazon | Não | Alexa e serviços de IA | Respeita |
| Bytespider | ByteDance | Não | Treino | Historicamente ignora |
| CCBot | Common Crawl | Não | Dataset aberto que alimenta muitos LLMs | Respeita |
| Google-Extended | - | Opt-out do treino do Gemini | Token | |
| Applebot-Extended | Apple | - | Opt-out do treino da Apple | Token |
Para decidir com contexto: Crawlers e bots de IA: quem faz crawl, render e indexação e Bloquear ou permitir a IA? O controlo do GSC e o robots.txt, sem mitos.