Здравствуйте!
В Яндекс.Вебмастере есть инструмент, который носит название «Скорость обхода». Найти его можно в разделе индексирования. Благодаря данному инструменту можно настроить то, насколько часто Яндекс может осуществлять запросы к вашим сайтам.
Недавно проведенные исследования в области индексирования различного рода интернет сайтов показали, что самой главной причиной медленного скачивания различного рода файлов служит неправильная настройка Crawl-delay в файле robots.txt.
Что характерно, подавляющее большинство владельцев сайтов абсолютно не задумывается о том, что она из себя представляет, а также о том, для чего она нужна.
И по этой причине в Crawl-delay чаще всего ставятся стандартные значения, то есть те, которые стояли на старых интернет сайтах, в качестве сверверов для которых служили еще домашние персональные компьютеры, а не современные дата-центры.
Даже если показатель и превышал 2, то скорость обхода интернет сайта все равно была очень маленькой, потому как именно эта директива и отвечает за частоту обращения поискового робота к интернет сайту. Если директива будет настроена неправильно, то страницы интернет сайта не будут проиндексированы в течение длительного периода времени.
Как добавить сайт в Яндекс Вебмастер
Как настроить скорость обхода сайта в Яндекс Вебмастер
Заходим в на страницу сервиса и выбираем сайт для которого будет настраивать скорость обхода. Выбираем раздел «Индексирование» и выбираем пункт «Скорость обхода». На открывшейся вкладке ставим чекбокс напротив строки «Задать вручную».
Далее необходимо перетянуть ползунок в нужное положение. Минимальная скорость обхода 0,6 запросов в секунда, максимальная — 30, шаг — 0,3. Меняя данный пункт настроек, вы должны понимать, что и зачем вы делаете. В частности, чем выше будет установленная вам скорость обход, тем больше нагрузка на сервер, где расположен сайт. Поэтому лучше оставить эту опцию по умолчанию «Доверять Яндексу». В таком случае максимальная скорость обхода для конкретного интернет сайта подбирается по умолчанию с учетом максимальной допустимой нагрузки на сервер.
Заключение
Для удобства вебмастеров и владельцев сайтов администрация поисковой системы Яндекс решила отказать от учета директивы Crawl-delay в процессе осуществления индексирования. А для тех, кто предпочитает всё настраивать вручную появилась функция «Скорость обхода» в Яндекс.Вебмастере.
До новых встреч!
