By default all robots are
Crawl delay
Sitemap URL. Leave blank for none.
Robots are allowed to crawl your site:
Restricted directories or files. Relative to root, with trailing slash for dirs.
Your Robots.txt
Robots.txt Generator. |
By default all robots are
Crawl delay
Sitemap URL. Leave blank for none.
Robots are allowed to crawl your site:
Restricted directories or files. Relative to root, with trailing slash for dirs.
Your Robots.txt
O arquivo robots.txt em um site é ajudar o webmaster ignorar arquivos ou diretórios especificados quando o ScRch Engine Spider rastejando um site.
Robots.txt Generator Ajuda você a obter o arquivo robost.txt mais fácil, WEHN Você seleciona o mecanismo de pesquisa permitido e o tempo de atraso de rastreamento, insira o URL do SiteMap e selecione as rotas permitidas e recebam seu código. o código como abaixo:
Agente de usuário: *
Não permitir: /
User-Agent: ia_arciver
Não permitir:
User-Agent: Slurp
Não permitir:
User-Agent: Afort
Não permitir:
User-Agent: Teoma
Não permitir:
Agente do usuário: Baiduspider
Não permitir:
Agente do usuário: Twiceeler
Não permitir:
User-Agent: Robozilla
Não permitir:
User-Agent: Gigabot
Não permitir:
User-Agent: Googlebot
Não permitir:
User-Agent: Googlebot-Image
Não permitir:
User-Agent: Googlebot-Mobile
Não permitir:
Agente do usuário: mail.ru
Não permitir:
User-Agent: Msnbot
Não permitir:
User-Agent: PSBOT
Não permitir:
User-Agent: Naverbot
Não permitir:
Agente do usuário: Yeti
Não permitir:
User-Agent: Nutch
Não permitir:
User-Agent: Stackrambler
Não permitir:
Usuário-Agent: Scrubby
Não permitir:
User-Agent: Asterias
Não permitir:
User-Agent: Yahoo-slurp
Não permitir:
User-Agent: Yandex
Não permitir:
taal selectie:日本語 | 한국어 | Français | Español | ไทย| عربي | русский язык | Português | Deutsch| Italiano | Ελληνικά | Nederlands | Polskie| Tiếng Việt| বাংলা| Indonesia| Pilipino| Türk| فارسی| ລາວ| ဗမာ| български| Català| čeština| Қазақ| Magyar| Română| Україна
Copyright ©2021 - 2031 All Rights Reserved.