[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"nav-categories":3,"article-fayl-robots-txt-sozdanie-nastroyka-proverka-i-indeksaciya-sayta":78},{"data":4},[5,53,65,72],{"name":6,"slug":7,"categories":8},"Продуктивность","productivity",[9,13,17,21,25,29,33,37,41,45,49],{"id":10,"title":11,"slug":12},8,"Саморазвитие","samorazvitie",{"id":14,"title":15,"slug":16},30,"Психология","psihologiya",{"id":18,"title":19,"slug":20},3,"Делаем карьеру","delaem-kareru",{"id":22,"title":23,"slug":24},10,"Советы","sovety",{"id":26,"title":27,"slug":28},11,"Для новичка","dlya-novichka",{"id":30,"title":31,"slug":32},25,"Контекстная реклама","kontekstnaya-reklama",{"id":34,"title":35,"slug":36},23,"Маркетинг","marketing073254",{"id":38,"title":39,"slug":40},7,"Социальные сети","socialnye-seti",{"id":42,"title":43,"slug":44},4,"Удалённая работа","udalennaya-rabota",{"id":46,"title":47,"slug":48},12,"Способы заработка","sposoby-zarabotka",{"id":50,"title":51,"slug":52},14,"Финансы","finansy",{"name":54,"slug":55,"categories":56},"Технологии","tech",[57,61],{"id":58,"title":59,"slug":60},15,"YouTube","youtube",{"id":62,"title":63,"slug":64},33,"Трафик","trafik",{"name":66,"slug":67,"categories":68},"Бизнес","business",[69],{"id":70,"title":66,"slug":71},5,"biznes",{"name":73,"slug":74,"categories":75},"Новости","news",[76],{"id":77,"title":73,"slug":74},9,{"post":79,"published_news":105,"popular_news":170,"categories":232},{"title":80,"description":81,"meta_title":80,"meta_description":81,"meta_keywords":82,"text":83,"slug":84,"created_at":85,"publish_at":86,"formatted_created_at":87,"category_id":26,"links":88,"view_type":93,"video_url":94,"views":95,"likes":96,"lang":97,"comments_count":98,"category":99},"Файл Robots.txt: создание, настройка, проверка и индексация сайта","Robots.txt – это обычный текстовый файл, который содержит в себе рекомендации для поисковых роботов: какие страницы нужно сканировать, а какие нет.","Файл Robots.txt, создание, настройка, проверка и индексация сайта","\u003Cp>Здравствуйте!\u003C/p>\n\n\u003Cp>\u003Cpicture class=\"image-align-left\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-10.webp\" type=\"image/webp\">\u003Cimg alt=\"Файл Robots.txt: создание, настройка, проверка и индексация сайта\" class=\"image-align-left\" height=\"157\" src=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-10.jpeg\" width=\"300\" />\u003C/picture>В SEO мелочей не бывает. Иногда на продвижение сайта может оказать влияние всего лишь один небольшой файл — \u003Ca href=\"https://quasa.io/ru/media/pravilnyy-robots-txt-sozdanie-i-nastroyka-dlya-wordpress-i-joomla\">Robots.txt\u003C/a>. Если вы хотите, чтобы ваш сайт зашел в индекс, чтобы поисковые роботы обошли нужные вам страницы, нужно прописать для них рекомендации. \u003C/p>\n\n\u003Cp>\u003Cem>«Разве это возможно?»\u003C/em>, —  спросите вы. Возможно. Для этого на вашем сайте должен быть файл robots.txt. Как правильно составить файл \u003Cem>роботс\u003C/em>, настроить и добавить на сайт – разбираемся в этой статье.\u003C/p>\n\n\u003Ch4>Что такое robots.txt и для чего нужен\u003C/h4>\n\n\u003Cp>\u003Cstrong>Robots.txt – это обычный текстовый файл\u003C/strong>, который содержит в себе рекомендации для поисковых роботов: какие страницы нужно сканировать, а какие нет.\u003C/p>\n\n\u003Cp>\u003Cpicture class=\"image-align-left\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-1.webp\" type=\"image/webp\">\u003Cimg alt=\"Кабинет пользователя\" class=\"image-align-left\" height=\"224\" src=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-1.png\" width=\"300\" />\u003C/picture>\u003Cem>Важно: файл должен быть в кодировке UTF-8, иначе  поисковые роботы могут его не воспринять.\u003C/em>\u003C/p>\n\n\u003Cp>Зайдет ли в индекс сайт, на котором не будет этого файла? Зайдет, но роботы могут «выхватить» те страницы, наличие которых в результатах поиска нежелательно: например, страницы входа, админпанель, личные страницы пользователей, сайты-зеркала и т.п. Все это считается «поисковым мусором»:\u003C/p>\n\n\u003Cp>Если в результаты поиска попадёт личная информация, можете пострадать и вы, и сайт. Ещё один момент – без этого файла индексация сайта будет проходить дольше.\u003C/p>\n\n\u003Cp>В файле Robots.txt можно задать три типа команд для поисковых пауков:\u003C/p>\n\n\u003Col>\n\t\u003Cli>сканирование запрещено;\u003C/li>\n\t\u003Cli>сканирование разрешено;\u003C/li>\n\t\u003Cli>сканирование разрешено частично.\u003C/li>\n\u003C/ol>\n\n\u003Cp>Все это прописывается с помощью директив.\u003C/p>\n\n\u003Ch4>Как создать правильный файл Robots.txt для сайта\u003C/h4>\n\n\u003Cp>Файл Robots.txt можно создать просто в программе «Блокнот», которая по умолчанию есть на любом компьютере. Прописывание файла займет даже у новичка максимум полчаса времени (если знать команды).\u003C/p>\n\n\u003Cp>\u003Cpicture class=\"image-align-left\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-2.webp\" type=\"image/webp\">\u003Cimg alt=\"Как создать Robots.txt\" class=\"image-align-left\" height=\"227\" src=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-2.png\" width=\"300\" />\u003C/picture>Также можно использовать другие программы – Notepad, например. Есть и онлайн сервисы, которые могут сгенерировать файл автоматически. Например, такие как \u003Cstrong>CY-PR.com\u003C/strong> или Mediasova.\u003C/p>\n\n\u003Cp>Вам просто нужно указать адрес своего сайта, для каких поисковых систем нужно задать правила, главное зеркало (с www или без). Дальше сервис всё сделает сам.\u003C/p>\n\n\u003Cp>Лично я предпочитаю старый «дедовский» способ – прописать файл вручную в блокноте. Есть ещё и «ленивый способ» — озадачить этим своего разработчика ? Но даже в таком случае вы должны проверить, правильно ли там всё прописано. Поэтому давайте разберемся, как составить этот самый файл, и где он должен находиться.\u003C/p>\n\n\u003Ch3>Где должен находиться файл Robots\u003C/h3>\n\n\u003Cp>Готовый файл Robots.txt должен находиться в корневой папке сайта. Просто файл, без папки:\u003C/p>\n\n\u003Cp>\u003Cpicture>\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-3.webp\" type=\"image/webp\">\u003Cimg alt=\"Где должен находиться файл Robots\" height=\"238\" src=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-3.png\" width=\"300\" />\u003C/picture>\u003C/p>\n\n\u003Cp>Хотите проверить, есть ли он на вашем сайте? Вбейте в адресную строку адрес: \u003Cem>site.ru/robots.txt\u003C/em>.\u003C/p>\n\n\u003Cp>\u003Cpicture class=\"image-align-right\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-4.webp\" type=\"image/webp\">\u003Cimg alt=\"file robots txt\" class=\"image-align-right\" height=\"380\" src=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-4.png\" width=\"300\" />\u003C/picture>Вам откроется вот такая страничка (если файл есть):\u003C/p>\n\n\u003Cp>Файл состоит из нескольких блоков, отделённых отступом. В каждом блоке – рекомендации для поисковых роботов разных поисковых систем (плюс блок с общими правилами для всех), и отдельный блок со ссылками на карту сайта – Sitemap.\u003C/p>\n\n\u003Cp>Внутри блока с правилами для одного поискового робота отступы делать не нужно.\u003C/p>\n\n\u003Cp>Каждый блок начинается директивой User-agent. \u003C/p>\n\n\u003Cp>После каждой директивы ставится знак «:» (двоеточие), пробел, после которого указывается значение (например, какую страницу закрыть от индексации).\u003C/p>\n\n\u003Cp>Нужно указывать относительные адреса страниц, а не абсолютные. Относительные – это без «www.site.ru». Например, вам нужно запретить к индексации страницу \u003Cem>www.site.ru/shop\u003C/em>. Значит после двоеточия ставим пробел, слэш и «shop»:\u003C/p>\n\n\u003Cp>\u003Cem>Disallow: /shop.\u003C/em>\u003C/p>\n\n\u003Cp>\u003Cpicture class=\"image-align-left\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-11.webp\" type=\"image/webp\">\u003Cimg alt=\"Файл Robots.txt: создание, настройка, проверка и индексация сайта\" class=\"image-align-left\" height=\"321\" src=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-11.png\" width=\"300\" />\u003C/picture>Звездочка (*) обозначает любой набор символов.\u003C/p>\n\n\u003Cp>Знак доллара ($) – конец строки.\u003C/p>\n\n\u003Cp>Вы можете решить – зачем писать файл с нуля, если его можно открыть на любом сайте и просто скопировать себе? \u003C/p>\n\n\u003Cp>Для каждого сайта нужно прописывать уникальные правила. Нужно учесть особенности \u003Ca href=\"https://quasa.io/ru/media/chto-takoe-cms-vidy-cms-i-kak-vybrat-dlya-svoego-sayta\">\u003Cstrong>CMS\u003C/strong>\u003C/a>. Например, та же админпанель находится по адресу /wp-admin на движке WordPress, на другом адрес будет отличаться. То же самое с адресами отдельных страниц, с картой сайта и прочим.\u003C/p>\n\n\u003Cp>\u003Cem>Читайте также:\u003C/em> \u003Ca href=\"https://quasa.io/ru/media/kak-nayti-i-udalit-dubli-stranic-na-sayte\">\u003Cstrong>Как найти и удалить дубли страниц на сайте\u003C/strong>\u003C/a>\u003C/p>\n\n\u003Ch4>Настройка файла Robots.txt: индексация, главное зеркало, диррективы\u003C/h4>\n\n\u003Cp>\u003Cpicture class=\"image-align-left\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-12.webp\" type=\"image/webp\">\u003Cimg alt=\"Файл Robots.txt: создание, настройка, проверка и индексация сайта\" class=\"image-align-left\" height=\"183\" src=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-12.jpeg\" width=\"275\" />\u003C/picture>Как вы уже видели на скриншоте, первой идет директива User-agent. Она указывает, для какого поискового робота будут идти правила ниже.\u003C/p>\n\n\u003Cp>User-agent: * — правила для всех поисковых роботов, то есть любой поисковой системы (Google, Yandex, Bing, Рамблер и т.п.).\u003C/p>\n\n\u003Cp>\u003Cem>User-agent: Googlebot – указывает на правила для поискового паука Google.\u003C/em>\u003C/p>\n\n\u003Cp>\u003Cem>User-agent: Yandex – правила для поискового робота Яндекс.\u003C/em>\u003C/p>\n\n\u003Cp>Для какого поискового робота прописывать правила первым, нет никакой разницы. Но обычно сначала пишут рекомендации для всех роботов.\u003C/p>\n\n\u003Cp>Рекомендации для каждого робота, как я уже писала, отделяются отступом.\u003C/p>\n\n\u003Ch3>Disallow: Запрет на индексацию\u003C/h3>\n\n\u003Cp>Чтобы запретить индексацию сайта в целом или отдельных страниц, используется директива Disallow.\u003C/p>\n\n\u003Cp>Например, вы можете полностью закрыть сайт от индексации (если ресурс находится на доработке, и вы не хотите, чтобы он попал в выдачу в таком состоянии).\u003C/p>\n\n\u003Cp>\u003Cpicture class=\"image-align-right\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-13.webp\" type=\"image/webp\">\u003Cimg alt=\"Файл Robots.txt: создание, настройка, проверка и индексация сайта\" class=\"image-align-right\" height=\"118\" src=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-13.png\" width=\"300\" />\u003C/picture>\u003Cstrong>Для этого нужно прописать следующее:\u003C/strong>\u003C/p>\n\n\u003Cp>\u003Cem>User-agent: *\u003C/em>\u003C/p>\n\n\u003Cp>\u003Cem>Disallow: /\u003C/em>\u003C/p>\n\n\u003Cp>Таким образом всем поисковым роботам запрещено индексировать контент на сайте.\u003C/p>\n\n\u003Cp>А вот так можно открыть сайт для индексации:\u003C/p>\n\n\u003Cp>\u003Cem>User-agent: *\u003C/em>\u003C/p>\n\n\u003Cp>\u003Cem>\u003Cpicture class=\"image-align-right\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-14.webp\" type=\"image/webp\">\u003Cimg alt=\"Файл Robots.txt: создание, настройка, проверка и индексация сайта\" class=\"image-align-right\" height=\"142\" src=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-14.jpeg\" width=\"300\" />\u003C/picture>\u003Cstrong>Disallow:\u003C/strong>\u003C/em>\u003C/p>\n\n\u003Cp>Потому проверьте, стоит ли слеш после директивы Disallow, если хотите закрыть сайт. Если хотите потом его открыть – не забудьте снять правило (а такое часто случается).\u003C/p>\n\n\u003Cp>Чтобы закрыть от индексации отдельные страницы, нужно указать их адрес. Я уже писала, как это делается:\u003C/p>\n\n\u003Cp>\u003Cem>User-agent: *\u003C/em>\u003C/p>\n\n\u003Cp>\u003Cem>Disallow: /wp-admin\u003C/em>\u003C/p>\n\n\u003Cp>Таким образом на сайте закрыли от сторонних взглядов админпанель.\u003C/p>\n\n\u003Cp>\u003Cstrong>Что нужно закрывать от индексации в обязательном порядке:\u003Cpicture class=\"image-align-right\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-15.webp\" type=\"image/webp\">\u003Cimg alt=\"Файл Robots.txt: создание, настройка, проверка и индексация сайта\" class=\"image-align-right\" height=\"150\" src=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-15.jpeg\" width=\"300\" />\u003C/picture>\u003C/strong>\u003C/p>\n\n\u003Col>\n\t\u003Cli>административную панель;\u003C/li>\n\t\u003Cli>личные страницы пользователей;\u003C/li>\n\t\u003Cli>корзины;\u003C/li>\n\t\u003Cli>результаты поиска по сайту;\u003C/li>\n\t\u003Cli>страницы входа, регистрации, авторизации.\u003C/li>\n\u003C/ol>\n\n\u003Cp>Можно закрыть от индексации и отдельные типы файлов. Допустим, у вас на сайте есть некоторые .pdf-файлы, индексация которых нежелательна. А поисковые роботы очень легко сканируют залитые на сайт файлы. Закрыть их от индексации можно следующим образом:\u003C/p>\n\n\u003Cp>\u003Cem>User-agent: *\u003C/em>\u003C/p>\n\n\u003Cp>\u003Cem>Disallow: /*. pdf$\u003C/em>\u003C/p>\n\n\u003Ch3>Как отрыть сайт для индексации\u003C/h3>\n\n\u003Cp>\u003Cpicture class=\"image-align-left\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-1/00op-17.webp\" type=\"image/webp\">\u003Cimg alt=\"Файл Robots.txt: создание, настройка, проверка и индексация сайта\" class=\"image-align-left\" height=\"200\" src=\"https://cdn.quasa.io/photos/foto-1/00op-17.jpeg\" width=\"300\" />\u003C/picture>Даже при полностью закрытом от индексации сайте можно открыть роботам путь к определённым файлам или страницам. Допустим, вы переделываете сайт, но каталог с услугами остается нетронутым. Вы можете направить поисковых роботов туда, чтобы они продолжали индексировать раздел. Для этого используется директива Allow:\u003C/p>\n\n\u003Cp>\u003Cem>User-agent: *\u003C/em>\u003C/p>\n\n\u003Cp>\u003Cem>Allow: /uslugi\u003C/em>\u003C/p>\n\n\u003Cp>\u003Cem>Disallow: /\u003C/em>\u003C/p>\n\n\u003Ch3>Главное зеркало сайта\u003C/h3>\n\n\u003Cp>До 20 марта 2018 года в файле robots.txt для поискового робота Яндекс нужно было указывать главное зеркало сайта через директиву Host. Сейчас этого делать не нужно – достаточно \u003Cstrong>настроить постраничный 301-редирект\u003C/strong>.\u003C/p>\n\n\u003Cp>Что такое главное зеркало? Это какой адрес вашего сайта является главным – с www или без. Если не настроить редирект, то оба сайта будут проиндексированы, то есть, будут дубли всех страниц.\u003C/p>\n\n\u003Ch3>Карта сайта: robots.txt sitemap\u003C/h3>\n\n\u003Cp>\u003Cpicture class=\"image-align-left\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-1/00iis-14.webp\" type=\"image/webp\">\u003Cimg alt=\"Файл Robots.txt: создание, настройка, проверка и индексация сайта\" class=\"image-align-left\" height=\"249\" src=\"https://cdn.quasa.io/photos/foto-1/00iis-14.jpeg\" width=\"300\" />\u003C/picture>После того, как прописаны все директивы для роботов, необходимо указать путь к Sitemap. Карта сайта показывает роботам, что все URL, которые нужно проиндексировать, находятся по определённому адресу. Например:\u003C/p>\n\n\u003Cp>\u003Cem>Sitemap: site.ru/sitemap.xml\u003C/em>\u003C/p>\n\n\u003Cp>Когда робот будет обходить сайт, он будет видеть, какие изменения вносились в этот файл.  В итоге новые страницы будут индексироваться быстрее.\u003C/p>\n\n\u003Ch3>Директива Clean-param\u003C/h3>\n\n\u003Cp>В 2009 году Яндекс ввел новую директиву – Clean-param. С ее помощью можно описать динамические параметры, которые не влияют на содержание страниц. Чаще всего данная директива используется на форумах. Тут возникает много мусора, например id сессии, параметры сортировки. Если прописать данную директиву, поисковый робот Яндекса не будет многократно загружать информацию, которая дублируется.\u003C/p>\n\n\u003Cp>Прописать эту директиву можно в любом месте файла robots.txt. \u003C/p>\n\n\u003Cp>\u003Cpicture class=\"image-align-left\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-1/00iis-15.webp\" type=\"image/webp\">\u003Cimg alt=\"Файл Robots.txt: создание, настройка, проверка и индексация сайта\" class=\"image-align-left\" height=\"200\" src=\"https://cdn.quasa.io/photos/foto-1/00iis-15.jpeg\" width=\"300\" />\u003C/picture>Параметры, которые роботу не нужно учитывать, перечисляются в первой части значения через знак &:\u003C/p>\n\n\u003Cp>\u003Cem>Clean-param: sid&sort /forum/viewforum.php\u003C/em>\u003C/p>\n\n\u003Cp>Эта директива позволяет избежать дублей страниц с динамическими адресами (которые содержат знак вопроса).\u003C/p>\n\n\u003Ch3>Директива Crawl-delay\u003C/h3>\n\n\u003Cp>Эта директива придёт на помощь тем, у кого слабый сервер.\u003C/p>\n\n\u003Cp>Приход поискового робота – это дополнительная нагрузка на сервер. Если у вас высокая посещаемость сайта, то ресурс может попросту не выдержать и «лечь». В итоге робот получит сообщение об ошибке 5хх. Если такая ситуация будет повторяться постоянно, сайт может быть признан поисковой системой нерабочим.\u003C/p>\n\n\u003Cp>Представьте, что вы работаете, и параллельно вам приходится постоянно отвечать на звонки. Ваша продуктивность в таком случае падает.\u003C/p>\n\n\u003Cp>Так же и с сервером.\u003C/p>\n\n\u003Cp>\u003Cpicture class=\"image-align-left\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-14/aaaabpm-7.webp\" type=\"image/webp\">\u003Cimg alt=\"Файл Robots.txt: создание, настройка, проверка и индексация сайта\" class=\"image-align-left\" height=\"150\" src=\"https://cdn.quasa.io/photos/foto-14/aaaabpm-7.jpeg\" width=\"300\" />\u003C/picture>Вернемся к директиве. Crawl-delay позволяет задать задержку сканирования страниц сайта с целью снизить нагрузку на сервер. Другими словами, вы задаете период, через который будут загружаться страницы сайта. Указывается данный параметр в секундах, целым числом:\u003C/p>\n\n\u003Cp>\u003Cem>Crawl-delay: 2\u003C/em>\u003C/p>\n\n\u003Ch3>Комментарии в robots.txt\u003C/h3>\n\n\u003Cp>Бывают случаи, когда вам нужно оставить в файле комментарий для других вебмастеров. Например, если ресурс передаётся в работу другой команде или если над сайтом работает целая команда.\u003C/p>\n\n\u003Cp>\u003Cpicture class=\"image-align-left\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-1/00iis-16.webp\" type=\"image/webp\">\u003Cimg alt=\"Файл Robots.txt: создание, настройка, проверка и индексация сайта\" class=\"image-align-left\" height=\"200\" src=\"https://cdn.quasa.io/photos/foto-1/00iis-16.jpeg\" width=\"300\" />\u003C/picture>В этом файле, как и во всех других, можно оставлять комментарии для других разработчиков.\u003C/p>\n\n\u003Cp>Делается это просто – перед сообщением нужно поставить знак решетки: «#». Дальше вы можете писать свое примечание, робот не будет учитывать написанное:\u003C/p>\n\n\u003Cp>\u003Cem>User-agent: *\u003C/em>\u003C/p>\n\n\u003Cp>\u003Cem>Disallow: /*. xls$\u003C/em>\u003C/p>\n\n\u003Cp>\u003Cem>#закрыл прайсы от индексации\u003C/em>\u003C/p>\n\n\u003Ch4>Как проверить файл robots.txt\u003C/h4>\n\n\u003Cp>После того, как файл написан, нужно узнать, правильно ли. Для этого вы можете использовать инструменты от Яндекс и Google.\u003C/p>\n\n\u003Cp>Через \u003Ca href=\"https://quasa.io/ru/media/yandeks-vebmaster-kak-dobavit-sayt-i-nastroit-vse-instrumenty\">\u003Cstrong>Яндекс.Вебмастер\u003C/strong>\u003C/a> robots.txt можно проверить на вкладке «Инструменты – Анализ robots.txt»:\u003C/p>\n\n\u003Cp>На открывшейся странице указываем адрес проверяемого сайта, а в поле снизу вставляем содержимое своего файла. Затем нажимаем «Проверить». Сервис проверит ваш файл и укажет на возможные ошибки:\u003C/p>\n\n\u003Cp>\u003Cpicture>\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-5.webp\" type=\"image/webp\">\u003Cimg alt=\"Как проверить файл robots.txt\" height=\"557\" src=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-5.png\" width=\"191\" />\u003C/picture>\u003C/p>\n\n\u003Cp>\u003Cpicture>\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-6.webp\" type=\"image/webp\">\u003Cimg alt=\"Проверка robots.txt в Яндексе\" height=\"124\" src=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-6.png\" width=\"300\" />\u003C/picture>\u003C/p>\n\n\u003Cp>Также можно проверить файл robots.txt через Google Search Console, если у вас подтверждены права на сайт.\u003C/p>\n\n\u003Cp>Для этого в панели инструментов выбираем «Сканирование – Инструмент проверки файла robots.txt».\u003C/p>\n\n\u003Cp>\u003Cpicture>\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-7.webp\" type=\"image/webp\">\u003Cimg alt=\"Как правильно настроить Robots.txt\" height=\"530\" src=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-7.png\" width=\"211\" />\u003C/picture>\u003C/p>\n\n\u003Cp>На странице проверки вам тоже нужно будет скопировать и вставить содержимое файла, затем указать адрес сайта:\u003C/p>\n\n\u003Cp>\u003Cpicture>\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-8.webp\" type=\"image/webp\">\u003Cimg alt=\"robots txt в google\" height=\"142\" src=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-8.png\" width=\"300\" />\u003C/picture>\u003C/p>\n\n\u003Cp>Потом нажимаете «Проверить» — и все. Система укажет ошибки или выдаст предупреждения.\u003C/p>\n\n\u003Cp>Останется только внести необходимые правки.\u003C/p>\n\n\u003Cp>Если в файле присутствуют какие-то ошибки, или появятся со временем (например, после какого-то очередного изменения), инструменты для вебмастеров будут присылать вам уведомления об этом. Извещение вы увидите сразу, как войдете в консоль.\u003C/p>\n\n\u003Ch4>Частые ошибки в заполнении файла robots.txt\u003C/h4>\n\n\u003Cp>\u003Cpicture class=\"image-align-left\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-9.webp\" type=\"image/webp\">\u003Cimg alt=\"Файл Robots.txt: создание, настройка, проверка и индексация сайта\" class=\"image-align-left\" height=\"100\" src=\"https://cdn.quasa.io/photos/foto-14/aaaaabbr-9.jpeg\" width=\"300\" />\u003C/picture>Какие же ошибки чаще всего допускают вебмастера или владельцы ресурсов?\u003C/p>\n\n\u003Cp>\u003Cstrong>1.\u003C/strong> \u003Cstrong>Файла вообще нет.\u003C/strong> Это встречается чаще всего, и выявляется при \u003Cstrong>SEO-аудите\u003C/strong> ресурса. Как правило, на тот момент уже заметно, что сайт индексируется не так быстро, как хотелось бы, или в индекс попали мусорные страницы.\u003C/p>\n\n\u003Cp>2. Перечисление нескольких папок или директорий в одной инструкции. То есть вот так:\u003C/p>\n\n\u003Cp>\u003Cem>Allow: /catalog /uslugi /shop\u003C/em>\u003C/p>\n\n\u003Cp>\u003Cpicture class=\"image-align-left\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-1/00op-10.webp\" type=\"image/webp\">\u003Cimg alt=\"Файл Robots.txt: создание, настройка, проверка и индексация сайта\" class=\"image-align-left\" height=\"135\" src=\"https://cdn.quasa.io/photos/foto-1/00op-10.jpg\" width=\"300\" />\u003C/picture>Называется «зачем писать больше…». В таком случае робот вообще не знает, что ему можно индексировать. Каждая инструкция должна иди с новой строки, запрет или разрешение на индексацию каждой папки или страницы – это отдельная рекомендация.\u003C/p>\n\n\u003Cp>\u003Cstrong>3. Разные регистры\u003C/strong>. Название файла должно быть с маленькой буквы и написано маленькими буквами – никакого капса. То же самое касается и инструкций: каждая с большой буквы, все остальное – маленькими. Если вы напишете капсом, это будет считаться уже совсем другой директивой.\u003C/p>\n\n\u003Cp>\u003Cstrong>4. Пустой User-agent.\u003C/strong> Нужно обязательно указать, для какой поисковой системы идет набор правил. Если для всех – ставим звездочку, но никак нельзя оставлять пустое место.\u003C/p>\n\n\u003Cp>\u003Cstrong>5. Забыли открыть ресурс для индексации\u003C/strong> после всех работ – просто не убрали слеш после Disallow.\u003C/p>\n\n\u003Cp>\u003Cstrong>6. Лишние звездочки, пробелы, другие знаки.\u003C/strong> Это просто невнимательность.\u003C/p>\n\n\u003Cp>\u003Cem>Регулярно заглядывайте в инструменты для вебмастеров и вовремя исправляйте возможные ошибки в своем файле robots.txt. \u003C/em>\u003C/p>\n\n\u003Cp>\u003Cem>Удачного вам продвижения!\u003C/em>\u003C/p>","fayl-robots-txt-sozdanie-nastroyka-proverka-i-indeksaciya-sayta","2022-01-04T21:51:00.000000Z","2026-01-11T03:00:00.000000Z","11.01.2026",{"image":89,"image_webp":90,"thumb":91,"thumb_webp":92},"https://cdn.quasa.io/images/news/voszpgbKe15AyaKrM9lO7LQRddY2SJ2rELEqHqlW.jpg","https://cdn.quasa.io/images/news/voszpgbKe15AyaKrM9lO7LQRddY2SJ2rELEqHqlW.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/voszpgbKe15AyaKrM9lO7LQRddY2SJ2rELEqHqlW.jpg","https://cdn.quasa.io/thumbs/news-thumb/images/news/voszpgbKe15AyaKrM9lO7LQRddY2SJ2rELEqHqlW.webp","large",null,4173,2,"ru",0,{"id":26,"title":27,"slug":28,"meta_title":100,"meta_description":101,"meta_keywords":102,"deleted_at":94,"created_at":103,"updated_at":104,"lang":97},"Для начинающих полные руководства на QUASA","Инсайды и инструкции, как не наступить на грабли в любой сфере жизни.","Как заработать новичку, фишки и лайфхаки","2021-01-23T11:12:38.000000Z","2024-08-25T15:47:56.000000Z",[106,122,135,146,157],{"title":107,"description":108,"slug":109,"created_at":110,"publish_at":111,"formatted_created_at":112,"category":113,"links":114,"view_type":119,"video_url":94,"views":120,"likes":98,"lang":97,"comments_count":98,"is_pinned":121},"Потеряли доступ к крипто кошельку? Единственный надежный способ вернуть активы","Потеря доступа к крипто кошельку часто воспринимается как цифровая катастрофа. Однако важно помнить: ваши монеты не «лежат» в приложении или на флешке — они находятся в блокчейне. Устройство или программа — это лишь интерфейс.","poteryali-dostup-k-kripto-koshelku-edinstvennyy-nadezhnyy-sposob-vernut-aktivy","2026-04-20T13:07:26.000000Z","2026-04-21T13:02:00.000000Z","21.04.2026",{"title":51,"slug":52},{"image":115,"image_webp":116,"thumb":117,"thumb_webp":118},"https://cdn.quasa.io/images/news/geSEtYi4nkxjy0QGmRo1hHxq0IghZxoP322SygY1.jpg","https://cdn.quasa.io/images/news/geSEtYi4nkxjy0QGmRo1hHxq0IghZxoP322SygY1.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/geSEtYi4nkxjy0QGmRo1hHxq0IghZxoP322SygY1.jpg","https://cdn.quasa.io/thumbs/news-thumb/images/news/geSEtYi4nkxjy0QGmRo1hHxq0IghZxoP322SygY1.webp","small",34,false,{"title":123,"description":124,"slug":125,"created_at":126,"publish_at":127,"formatted_created_at":112,"category":128,"links":129,"view_type":119,"video_url":94,"views":134,"likes":98,"lang":97,"comments_count":98,"is_pinned":121},"Дилемма супер-ИИ: Почему «гениальность» мешает корпоративной автоматизации","В современной индустрии ИИ наметился парадокс. Модели, которые бьют рекорды на олимпиадах по математике, часто проваливают простейшие задачи в корпоративной среде.","dilemma-super-ii-pochemu-genialnost-meshaet-korporativnoy-avtomatizacii","2026-04-20T12:24:43.000000Z","2026-04-21T11:08:00.000000Z",{"title":66,"slug":71},{"image":130,"image_webp":131,"thumb":132,"thumb_webp":133},"https://cdn.quasa.io/images/news/75jP0hVLxN1NF7yUVntNX4OETWO6SaNBMzsDxfaW.jpg","https://cdn.quasa.io/images/news/75jP0hVLxN1NF7yUVntNX4OETWO6SaNBMzsDxfaW.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/75jP0hVLxN1NF7yUVntNX4OETWO6SaNBMzsDxfaW.jpg","https://cdn.quasa.io/thumbs/news-thumb/images/news/75jP0hVLxN1NF7yUVntNX4OETWO6SaNBMzsDxfaW.webp",45,{"title":136,"description":137,"slug":138,"created_at":139,"publish_at":140,"formatted_created_at":112,"category":141,"links":142,"view_type":93,"video_url":94,"views":145,"likes":98,"lang":97,"comments_count":98,"is_pinned":121},"Как определить победителя в конкурсе в Инстаграм: сайты и сервисы в помощь","Конкурсы в соцсетях — это работающий инструмент для повышения активности подписчиков.","kak-opredelit-pobeditelya-v-konkurse-v-instagram-sayty-i-servisy-v-pomoshch","2022-02-10T11:12:47.000000Z","2026-04-21T11:00:00.000000Z",{"title":39,"slug":40},{"image":143,"image_webp":94,"thumb":144,"thumb_webp":144},"https://cdn.quasa.io/images/news/Fa1Oo5ipMxRkUGORBSGoet695foMAbsq117iylpj.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/Fa1Oo5ipMxRkUGORBSGoet695foMAbsq117iylpj.webp",4564,{"title":147,"description":148,"slug":149,"created_at":150,"publish_at":150,"formatted_created_at":112,"category":151,"links":152,"view_type":119,"video_url":94,"views":134,"likes":98,"lang":97,"comments_count":98,"is_pinned":121},"Эра «Двух Джонов»: Как Apple планирует выиграть ИИ-гонку с помощью железа, а не облаков","В сентябре 2026 года штурвал переходит к Джону Тернусу — человеку, который прошел путь от инженера-механика до вице-президента по аппаратным разработкам.","era-dvuh-dzhonov-kak-apple-planiruet-vyigrat-ii-gonku-s-pomoshchyu-zheleza-a-ne-oblakov","2026-04-21T09:59:45.000000Z",{"title":73,"slug":74},{"image":153,"image_webp":154,"thumb":155,"thumb_webp":156},"https://cdn.quasa.io/images/news/mkF3UskAefZuxc7fqrytQvomGqH5AushLinaP8ci.jpg","https://cdn.quasa.io/images/news/mkF3UskAefZuxc7fqrytQvomGqH5AushLinaP8ci.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/mkF3UskAefZuxc7fqrytQvomGqH5AushLinaP8ci.jpg","https://cdn.quasa.io/thumbs/news-thumb/images/news/mkF3UskAefZuxc7fqrytQvomGqH5AushLinaP8ci.webp",{"title":158,"description":159,"slug":160,"created_at":161,"publish_at":162,"formatted_created_at":112,"category":163,"links":164,"view_type":119,"video_url":94,"views":169,"likes":98,"lang":97,"comments_count":98,"is_pinned":121},"Эпидемия взломов в DeFi: Как Kelp DAO спровоцировал «криптопанику» и куда исчезли $800 млн","Цепная реакция, запущенная взломом инфраструктуры Kelp DAO, не только лишила проект $291 млн, но и спровоцировала один из крупнейших банковских набегов (bank run) в истории индустрии — из протокола Aave за сутки «убежало» порядка $6 млрд.","epidemiya-vzlomov-v-defi-kak-kelp-dao-sprovociroval-kriptopaniku-i-kuda-ischezli-800-mln","2026-04-20T11:01:18.000000Z","2026-04-21T09:05:00.000000Z",{"title":51,"slug":52},{"image":165,"image_webp":166,"thumb":167,"thumb_webp":168},"https://cdn.quasa.io/images/news/DvglYBqUbuoO7m5BrYl4cy2TzysGlVawuwUXCvBF.jpg","https://cdn.quasa.io/images/news/DvglYBqUbuoO7m5BrYl4cy2TzysGlVawuwUXCvBF.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/DvglYBqUbuoO7m5BrYl4cy2TzysGlVawuwUXCvBF.jpg","https://cdn.quasa.io/thumbs/news-thumb/images/news/DvglYBqUbuoO7m5BrYl4cy2TzysGlVawuwUXCvBF.webp",50,[171,184,196,208,220],{"title":172,"description":173,"slug":174,"created_at":175,"publish_at":176,"formatted_created_at":177,"category":178,"links":179,"view_type":119,"video_url":94,"views":182,"likes":183,"lang":97,"comments_count":98,"is_pinned":121},"Что такое темперамент человека и чем он отличается от характера","Сегодня мы с вами погрузимся в мир практической психологии и рассмотрим, что такое темперамент. Мы уверены, что вы не раз слышали это понятие, но, возможно, не до конца понимали его суть. Узнаем историю понятия и кратко разберем 4 типа темперамента.","chto-takoe-temperament-cheloveka-i-chem-on-otlichaetsya-ot-haraktera","2021-08-31T00:10:00.000000Z","2025-12-18T12:45:00.000000Z","18.12.2025",{"title":11,"slug":12},{"image":180,"image_webp":94,"thumb":181,"thumb_webp":181},"https://cdn.quasa.io/images/news/JhE5h2bmD07cu9sGu3ke0OOXoEws9FJd4YhdYd9t.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/JhE5h2bmD07cu9sGu3ke0OOXoEws9FJd4YhdYd9t.webp",1658354,35,{"title":185,"description":186,"slug":187,"created_at":188,"publish_at":189,"formatted_created_at":177,"category":190,"links":191,"view_type":119,"video_url":94,"views":194,"likes":195,"lang":97,"comments_count":98,"is_pinned":121},"Отрицательные качества человека: список с пояснениями + примеры для резюме","Вы узнаете, что писать в резюме, если работодатель просит перечислить свои слабые стороны, и можно ли недостатки превратить в преимущества.","otricatelnye-kachestva-cheloveka-spisok-s-poyasneniyami-primery-dlya-rezyume","2021-08-26T11:43:39.000000Z","2025-12-18T12:47:00.000000Z",{"title":11,"slug":12},{"image":192,"image_webp":94,"thumb":193,"thumb_webp":193},"https://cdn.quasa.io/images/news/QM5IJhVcPXs56iLQEVfEipRGMjoDZKwx5yOI9baM.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/QM5IJhVcPXs56iLQEVfEipRGMjoDZKwx5yOI9baM.webp",610225,116,{"title":197,"description":198,"slug":199,"created_at":200,"publish_at":201,"formatted_created_at":177,"category":202,"links":203,"view_type":119,"video_url":94,"views":206,"likes":207,"lang":97,"comments_count":98,"is_pinned":121},"Положительные качества человека: список достоинств для жизни, отношений и работы","Качества личности – это набор устойчивых психических состояний, с помощью которых человек взаимодействует с социумом, влияет на него и ведет активную деятельность.","polozhitelnye-kachestva-cheloveka-spisok-dostoinstv-dlya-zhizni-otnosheniy-i-raboty","2021-08-25T22:16:19.000000Z","2025-12-18T09:30:00.000000Z",{"title":11,"slug":12},{"image":204,"image_webp":94,"thumb":205,"thumb_webp":205},"https://cdn.quasa.io/images/news/GjO9AIKY0GptNr5rAcfA4QMPIJKlFxaJ8Yy9gCDb.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/GjO9AIKY0GptNr5rAcfA4QMPIJKlFxaJ8Yy9gCDb.webp",607157,171,{"title":209,"description":210,"slug":211,"created_at":212,"publish_at":213,"formatted_created_at":177,"category":214,"links":215,"view_type":119,"video_url":94,"views":218,"likes":219,"lang":97,"comments_count":18,"is_pinned":121},"Интересные темы для разговоров с кем угодно и где угодно","Рекомендации для интересного общения. Темы, на которые можно поговорить.","interesnye-temy-dlya-razgovorov-s-kem-ugodno-i-gde-ugodno","2021-06-06T20:04:50.000000Z","2025-12-18T13:02:00.000000Z",{"title":23,"slug":24},{"image":216,"image_webp":94,"thumb":217,"thumb_webp":217},"https://cdn.quasa.io/images/news/0MQot5gzrfi2JKDfW9BmQBR954aYKcAmIa5LRojN.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/0MQot5gzrfi2JKDfW9BmQBR954aYKcAmIa5LRojN.webp",459408,84,{"title":221,"description":222,"slug":223,"created_at":224,"publish_at":225,"formatted_created_at":177,"category":226,"links":227,"view_type":119,"video_url":94,"views":230,"likes":231,"lang":97,"comments_count":98,"is_pinned":121},"Типы личности в психологии: 6 самых распространенных классификаций","Если простыми словами, то личность – это человек, обладающий набором индивидуальных характеристик и являющийся субъектом социальных отношений.","tipy-lichnosti-v-psihologii-6-samyh-rasprostranennyh-klassifikaciy","2021-10-11T22:27:07.000000Z","2025-12-18T08:25:00.000000Z",{"title":11,"slug":12},{"image":228,"image_webp":94,"thumb":229,"thumb_webp":229},"https://cdn.quasa.io/images/news/svg5pgcLVwCHibSqq7mqRS5kUkiogG2IpLBDDoi5.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/svg5pgcLVwCHibSqq7mqRS5kUkiogG2IpLBDDoi5.webp",297733,47,[233,234,235,236,237,238,239,240,241,242,243,244,245,246,247],{"title":63,"slug":64},{"title":15,"slug":16},{"title":31,"slug":32},{"title":35,"slug":36},{"title":59,"slug":60},{"title":51,"slug":52},{"title":47,"slug":48},{"title":27,"slug":28},{"title":23,"slug":24},{"title":73,"slug":74},{"title":11,"slug":12},{"title":39,"slug":40},{"title":66,"slug":71},{"title":43,"slug":44},{"title":19,"slug":20}]