Техническо SEOДостъпен

Генератор на robots.txt

Създайте robots.txt с актуални настройки за известни обхождащи роботи, XML карта на сайта и ясни правила; crawl-delay не се представя като начин за управление на Googlebot.

Изпълнява се в браузъраНе се съхранява постоянно по подразбиране

Обхват на заявката

Попълнете само необходимите полета. Методът и ограниченията на резултата са описани под работното поле.

Готов User-agent профил

Токенът се записва точно в директивата User-agent. Правилата на роботите се променят, затова ги потвърдете в официалната документация.

Allow пътища

По един URL път на ред, максимум 200.

Disallow пътища

По един URL път на ред, максимум 200. Това не защитава чувствителни файлове.

Адрес на карта на сайта

Пълен публичен адрес на XML карта на сайта.

За Crawl-delay

Генераторът не добавя Crawl-delay. Директивата не е част от стандарта robots.txt и не управлява честотата на Googlebot.

Проверката започва само след натискане на бутона.

За тази проверка

Какво проверява инструментът

Robots.txt насочва обхождането, но не премахва URL от индекс и не защитава чувствителни ресурси. За това използвайте meta/X-Robots-Tag, автентикация и подходящи HTTP отговори.

Как работи проверката

Комбинира избрани готови настройки за обхождащи роботи, собствен User-Agent, Allow/Disallow пътища и URL адрес на XML карта във валиден текстов файл.

Какво не може да се заключи само от тази проверка

Robots.txt е доброволен crawl протокол, не access control; Googlebot не използва crawl-delay.

Източници на данни

Публикувани идентификатори на обхождащи роботи и спецификацията за robots.txt; датата на каталога с готови настройки се извежда в резултата.

Генератор на robots.txt

Резултат

Какво проверява инструментът

Намерете точния инструмент

Резултат

Какво проверява инструментът

Продължете със свързана проверка