[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"nav-categories":3,"article-pravilnyy-robots-txt-sozdanie-i-nastroyka-dlya-wordpress-i-joomla":78},{"data":4},[5,53,65,72],{"name":6,"slug":7,"categories":8},"Продуктивность","productivity",[9,13,17,21,25,29,33,37,41,45,49],{"id":10,"title":11,"slug":12},8,"Саморазвитие","samorazvitie",{"id":14,"title":15,"slug":16},30,"Психология","psihologiya",{"id":18,"title":19,"slug":20},3,"Делаем карьеру","delaem-kareru",{"id":22,"title":23,"slug":24},10,"Советы","sovety",{"id":26,"title":27,"slug":28},11,"Для новичка","dlya-novichka",{"id":30,"title":31,"slug":32},25,"Контекстная реклама","kontekstnaya-reklama",{"id":34,"title":35,"slug":36},23,"Маркетинг","marketing073254",{"id":38,"title":39,"slug":40},7,"Социальные сети","socialnye-seti",{"id":42,"title":43,"slug":44},4,"Удалённая работа","udalennaya-rabota",{"id":46,"title":47,"slug":48},12,"Способы заработка","sposoby-zarabotka",{"id":50,"title":51,"slug":52},14,"Финансы","finansy",{"name":54,"slug":55,"categories":56},"Технологии","tech",[57,61],{"id":58,"title":59,"slug":60},15,"YouTube","youtube",{"id":62,"title":63,"slug":64},33,"Трафик","trafik",{"name":66,"slug":67,"categories":68},"Бизнес","business",[69],{"id":70,"title":66,"slug":71},5,"biznes",{"name":73,"slug":74,"categories":75},"Новости","news",[76],{"id":77,"title":73,"slug":74},9,{"post":79,"published_news":105,"popular_news":170,"categories":232},{"title":80,"description":81,"meta_title":80,"meta_description":81,"meta_keywords":82,"text":83,"slug":84,"created_at":85,"publish_at":86,"formatted_created_at":87,"category_id":26,"links":88,"view_type":93,"video_url":94,"views":95,"likes":96,"lang":97,"comments_count":98,"category":99},"Правильный robots.txt: создание и настройка для WordPress и Joomla","Robots.txt – файл, который знаком каждому вебмастеру. Именно в нем прописываются все самые основные инструкции для поисковых роботов.","Информационный сайт, robots.txt, WordPress, Joomla, поисковые роботы","\u003Cp>Добрый день, дорогие друзья!\u003C/p>\n\n\u003Cp>Все вы знаете, что поисковая оптимизация – дело ответственное и тонкое. Нужно учитывать абсолютно каждую мелочь, чтобы получить приемлемый результат.\u003C/p>\n\n\u003Cp>\u003Cstrong>\u003Cpicture class=\"image-align-right\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-5/ru-9.webp\" type=\"image/webp\">\u003Cimg alt=\"Диск автомобиля на асфальте - изображение должно содержать ключевое слово "диск".\" class=\"image-align-right\" height=\"250\" src=\"https://cdn.quasa.io/photos/foto-5/ru-9.png\" width=\"250\" />\u003C/picture>\u003C/strong>Сегодня мы поговорим о robots.txt – файле, который знаком каждому вебмастеру. Именно в нем прописываются все самые основные инструкции для поисковых роботов.\u003C/p>\n\n\u003Cp>Как правило, они с удовольствием следуют предписанным указаниям и в случае неправильного составления отказываются от индексации веб-ресурса.\u003C/p>\n\n\u003Cp>\u003Cstrong>Далее мы расскажем вам о том, как составлять правильный вариант robots.txt, а также о том, как его настроить.\u003C/strong>\u003C/p>\n\n\u003Ch4>\u003Cstrong>Для чего предназначен?\u003C/strong>\u003C/h4>\n\n\u003Cp>В предисловии мы уже описали, что это такое. Теперь расскажем, зачем он нужен.\u003C/p>\n\n\u003Cp>\u003Cstrong>Robots.txt – небольшой текстовой файл, который хранится в корне сайта. Он используется поисковыми системами. В нем четко прописаны правила индексации, т. е. какие разделы сайта нужно индексировать (добавлять в поиск), а какие – нет.\u003C/strong>\u003C/p>\n\n\u003Cp>\u003Ca href=\"https://quasa.io/ru/media/kak-proindeksirovat-sayt-v-yandeks-i-google-kak-uskorit-i-proverit-indeksaciyu-stranic\">Обычно от индексации закрываются технические разделы сайта\u003C/a>. Изредка в черный список попадают неуникальные страницы (копипаст политики конфиденциальности тому пример). Здесь же “роботам объясняются” принципы работы с разделами, которые нужно индексировать. Очень часто прописывают правила для нескольких роботов отдельно. Об этом мы и поговорим далее.\u003C/p>\n\n\u003Cp>При правильной настройке robots.txt ваш сайт гарантированно вырастет в позициях поисковых систем. Роботы будут учитывать только полезный контент, обделяя вниманием дублированные или технические разделы.\u003C/p>\n\n\u003Chr />\n\u003Ch4>\u003Cstrong>Создание robots.txt\u003C/strong>\u003C/h4>\n\n\u003Cp>Чтобы создать файл, достаточно воспользоваться стандартным функционалом вашей операционной системы, после чего выгрузить его на сервер через FTP. Где он лежит (на сервере) догадаться несложно – в корне. Обычно эта папка называется public_html.\u003C/p>\n\n\u003Cp>Вы без труда сможете попасть в нее с помощью любого FTP-клиента (например, \u003Ca href=\"https://quasa.io/ru/media/kak-nastroit-i-polzovatsya-ftp-klientom-filezilla-poshagovaya-instrukciya-dlya-novichkov\" target=\"_blank\">FileZilla\u003C/a>) или встроенного файлового менеджера. Естественно, мы не будем загружать на сервер пустой роботс.\u003C/p>\n\n\u003Cp>\u003Cpicture class=\"image-align-right\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-5/ru-1.webp\" type=\"image/webp\">\u003Cimg alt=\"Изображение белой доски с текстом на странице, файл SEO для оптимизации.\" class=\"image-align-right\" height=\"244\" src=\"https://cdn.quasa.io/photos/foto-5/ru-1.png\" width=\"400\" />\u003C/picture>\u003Cstrong>Впишем туда несколько основных директив (правил):\u003C/strong>\u003C/p>\n\n\u003Cp>User-agent: *\u003Cbr />\nAllow: /\u003C/p>\n\n\u003Cp>Используя эти строки в своем файле robots, вы обратитесь ко всем роботам (директива User-agent), позволив им индексировать ваш сайт всецело и полностью (включая все тех. страницы Allow: /)\u003C/p>\n\n\u003Cp>Конечно же, такой вариант нам не особо подходит. Файл будет не особо полезен для оптимизации под поисковики. Он определенно нуждается в грамотной настройке. Но перед этим мы рассмотрим все основные директивы и значения robots.txt.\u003C/p>\n\n\u003Ch4>\u003Cstrong>Директивы\u003C/strong>\u003C/h4>\n\n\u003Ch4>\u003Cpicture>\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-5/ru-14.webp\" type=\"image/webp\">\u003Cimg alt=\"Изображение с страницей, на которой отображается текст.\" height=\"346\" src=\"https://cdn.quasa.io/photos/foto-5/ru-14.jpg\" width=\"400\" />\u003C/picture>\u003C/h4>\n\n\u003Cp>Это все правила, которые поддерживаются флагманскими поисковиками. Именно с их помощью мы будем создавать наш роботс, оперируя различными вариациями для самых разных видов сайтов.\u003C/p>\n\n\u003Ch4>\u003Cstrong>\u003Cem>Настройка\u003C/em>\u003C/strong>\u003C/h4>\n\n\u003Cp>Для грамотной настройки файла роботов нам нужно точно знать, какие из разделов сайта должны быть проиндексированы, а какие – нет.\u003C/p>\n\n\u003Cp>\u003Cstrong>В случае с простым одностраничником на html + css нам достаточно прописать несколько основных директив, таких как:\u003C/strong>\u003C/p>\n\n\u003Cp>User-agent: *\u003Cbr />\nAllow: /\u003Cbr />\nSitemap: site.ru/sitemap.xml\u003Cbr />\nHost: www.site.ru\u003C/p>\n\n\u003Cp>Здесь мы указали правила и значения для всех поисковых систем. Но лучше добавить отдельные директивы для Гугла и Яндекса.\u003C/p>\n\n\u003Cp>\u003Cpicture class=\"image-align-right\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-5/ru-10.webp\" type=\"image/webp\">\u003Cimg alt=\"Почтовый ящик на улице с надписью "Mailbox" на фоне домов.\" class=\"image-align-right\" height=\"187\" src=\"https://cdn.quasa.io/photos/foto-5/ru-10.jpeg\" width=\"300\" />\u003C/picture>\u003Cstrong>Выглядеть это будет так:\u003C/strong>\u003C/p>\n\n\u003Cp>User-agent: *\u003Cbr />\nAllow: /\u003C/p>\n\n\u003Cp>User-agent: Yandex\u003Cbr />\nAllow: /\u003Cbr />\nDisallow: /politika\u003C/p>\n\n\u003Cp>User-agent: GoogleBot\u003Cbr />\nAllow: /\u003Cbr />\nDisallow: /tags/\u003C/p>\n\n\u003Cp>Sitemap: site.ru/sitemap.xml\u003Cbr />\nHost: site.ru\u003C/p>\n\n\u003Cp>Теперь на нашем html-сайте будут индексироваться абсолютно все файлы. Если мы хотим исключить какую-то страницу или картинку, то нам необходимо указать относительную ссылку на этот фрагмент в Disallow.\u003C/p>\n\n\u003Cp>Вы можете использовать сервисы автоматической генерации файлов роботс. Не гарантирую, что с их помощью вы создадите идеально правильный вариант, но в качестве ознакомления можно попробовать.\u003C/p>\n\n\u003Cp>\u003Cstrong>Среди таких сервисов можно выделить:\u003C/strong>\u003C/p>\n\n\u003Col>\n\t\u003Cli>\u003Ca href=\"https://pr-cy.ru/robots/\" target=\"_blank\">PR-CY\u003C/a>,\u003C/li>\n\t\u003Cli>\u003Ca href=\"https://htmlweb.ru/analiz/robots.php\" target=\"_blank\">htmlweb\u003C/a>.\u003C/li>\n\u003C/ol>\n\n\u003Cp>С их помощью вы сможете создать robots.txt в автоматическом режиме. Лично мы крайне не рекомендуем этот вариант, потому как намного проще сделать это вручную, настроив под свою платформу.\u003C/p>\n\n\u003Cp>Говоря о платформах, мы имеем ввиду всевозможные CMS, фреймворки, SaaS-системы и многое другое. Далее мы поговорим о том, как настраивать файл роботов WordPress и Joomla.\u003C/p>\n\n\u003Cp>Но перед этим выделим несколько универсальных правил, которыми можно будет руководствоваться при создании и настройке роботс почти для любого сайта:\u003C/p>\n\n\u003Cp>\u003Cpicture class=\"image-align-right\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-5/ru-11.webp\" type=\"image/webp\">\u003Cimg alt=\"Правильный robots.txt: создание и настройка для WordPress и Joomla\" class=\"image-align-right\" height=\"180\" src=\"https://cdn.quasa.io/photos/foto-5/ru-11.jpeg\" width=\"300\" />\u003C/picture>\u003Cstrong>Закрываем от индексирования (Disallow):\u003C/strong>\u003C/p>\n\n\u003Col>\n\t\u003Cli>админку сайта;\u003C/li>\n\t\u003Cli>личный кабинет и страницы регистрации/авторизации;\u003C/li>\n\t\u003Cli>корзину, данные с форм заказов (для интернет-магазина);\u003C/li>\n\t\u003Cli>папку cgi (располагается на хосте);\u003C/li>\n\t\u003Cli>служебные разделы;\u003C/li>\n\t\u003Cli>скрипты ajax и json;\u003C/li>\n\t\u003Cli>UTM и Openstat-метки;\u003C/li>\n\t\u003Cli>различные параметры.\u003C/li>\n\u003C/ol>\n\n\u003Cp>\u003Cstrong>Открываем (Allow):\u003C/strong>\u003C/p>\n\n\u003Col>\n\t\u003Cli>картинки;\u003C/li>\n\t\u003Cli>JS и \u003Ca href=\"https://quasa.io/ru/media/40-luchshih-kursov-po-html-i-css-verstke-saytov\">CSS-файлы\u003C/a>;\u003C/li>\n\t\u003Cli>прочие элементы, которые должны учитываться поисковыми системами.\u003C/li>\n\u003C/ol>\n\n\u003Cp>Помимо этого, в конце не забываем указать данные sitemap (путь к карте сайта) и host (главное зеркало).\u003C/p>\n\n\u003Ch4>\u003Cstrong>Robots.txt для WordPress\u003C/strong>\u003C/h4>\n\n\u003Cp>\u003Cem>\u003Cpicture class=\"image-align-right\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-5/ru-13.webp\" type=\"image/webp\">\u003Cimg alt=\"Робот-игрушка с человекообразным лицом и головой на белом фоне.\" class=\"image-align-right\" height=\"167\" src=\"https://cdn.quasa.io/photos/foto-5/ru-13.jpeg\" width=\"250\" />\u003C/picture>\u003C/em>Для создания файла нам нужно точно так же забросить robots.txt в корень сайта. Изменять его содержимое в таком случае можно будет с помощью все тех же FTP и файловых менеджеров.\u003C/p>\n\n\u003Cp>Есть и более удобный вариант – создать файл с помощью плагинов. В частности, такая функция есть у Yoast SEO. Править роботс прямо из админки куда удобнее.\u003C/p>\n\n\u003Cp>Как вы решите создать этот файл – дело ваше, нам важнее понять, какие именно директивы там должны быть.\u003C/p>\n\n\u003Cp>\u003Cem>\u003Cpicture class=\"image-align-right\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-5/ru-12.webp\" type=\"image/webp\">\u003Cimg alt=\"Робот и человек работают вместе в лаборатории, создавая новые технологии.\" class=\"image-align-right\" height=\"198\" src=\"https://cdn.quasa.io/photos/foto-5/ru-12.jpeg\" width=\"296\" />\u003C/picture>\u003C/em>\u003Cstrong>На наших сайтах под управлением WordPress используем такой вариант:\u003C/strong>\u003C/p>\n\n\u003Cp>User-agent: * # правила для всех роботов, за исключением Гугла и Яндекса\u003C/p>\n\n\u003Cp>Disallow: /cgi-bin \u003Cem># папка со скриптами\u003C/em>\u003Cbr />\nDisallow: /? \u003Cem># параметры запросов с домашней страницы\u003C/em>\u003Cbr />\nDisallow: /wp- \u003Cem># файлы самой CSM (с приставкой wp-)\u003C/em>\u003Cbr />\nDisallow: *?s= \u003Cem># \\\u003C/em>\u003Cbr />\nDisallow: *&s= \u003Cem># все, что связано с поиском\u003C/em>\u003Cbr />\nDisallow: /search/ \u003Cem># /\u003C/em>\u003Cbr />\nDisallow: /author/ \u003Cem># архивы авторов\u003C/em>\u003Cbr />\nDisallow: /users/ \u003Cem># и пользователей\u003C/em>\u003Cbr />\nDisallow: */trackback \u003Cem># уведомления от WP о том, что на вас кто-то ссылается\u003C/em>\u003Cbr />\nDisallow: */feed \u003Cem># фид в xml\u003C/em>\u003Cbr />\nDisallow: */rss \u003Cem># и rss\u003C/em>\u003Cbr />\nDisallow: */embed \u003Cem># встроенные элементы\u003C/em>\u003Cbr />\nDisallow: /xmlrpc.php \u003Cem># WordPress API\u003C/em>\u003Cbr />\nDisallow: *utm= \u003Cem># UTM-метки\u003C/em>\u003Cbr />\nDisallow: *openstat= \u003Cem># Openstat-метки\u003C/em>\u003Cbr />\nDisallow: /tag/ \u003Cem># тэги (при наличии)\u003C/em>\u003Cbr />\nAllow: */uploads \u003Cem># открываем загрузки (картинки и т. д.)\u003C/em>\u003C/p>\n\n\u003Cp>User-agent: GoogleBot \u003Cem># для Гугла\u003C/em>\u003Cbr />\nDisallow: /cgi-bin\u003Cbr />\nDisallow: /?\u003Cbr />\nDisallow: /wp-\u003Cbr />\nDisallow: *?s=\u003Cbr />\nDisallow: *&s=\u003Cbr />\nDisallow: /search/\u003Cbr />\nDisallow: /author/\u003Cbr />\nDisallow: /users/\u003Cbr />\nDisallow: */trackback\u003Cbr />\nDisallow: */feed\u003Cbr />\nDisallow: */rss\u003Cbr />\nDisallow: */embed\u003Cbr />\nDisallow: /xmlrpc.php\u003Cbr />\nDisallow: *utm=\u003Cbr />\nDisallow: *openstat=\u003Cbr />\nDisallow: /tag/\u003Cbr />\nAllow: */uploads\u003Cbr />\nAllow: /*/*.js \u003Cem># открываем JS-файлы\u003C/em>\u003Cbr />\nAllow: /*/*.css \u003Cem># и CSS\u003C/em>\u003Cbr />\nAllow: /wp-*.png \u003Cem># и картинки в формате png\u003C/em>\u003Cbr />\nAllow: /wp-*.jpg \u003Cem># \\\u003C/em>\u003Cbr />\nAllow: /wp-*.jpeg \u003Cem># и в других форматах\u003C/em>\u003Cbr />\nAllow: /wp-*.gif \u003Cem># /\u003C/em>\u003Cbr />\nAllow: /wp-admin/admin-ajax.php \u003Cem># работает вместе с плагинами\u003C/em>\u003C/p>\n\n\u003Cp>User-agent: Yandex \u003Cem># для Яндекса\u003C/em>\u003Cbr />\nDisallow: /cgi-bin\u003Cbr />\nDisallow: /?\u003Cbr />\nDisallow: /wp-\u003Cbr />\nDisallow: *?s=\u003Cbr />\nDisallow: *&s=\u003Cbr />\nDisallow: /search/\u003Cbr />\nDisallow: /author/\u003Cbr />\nDisallow: /users/\u003Cbr />\nDisallow: */trackback\u003Cbr />\nDisallow: */feed\u003Cbr />\nDisallow: */rss\u003Cbr />\nDisallow: */embed\u003Cbr />\nDisallow: /xmlrpc.php\u003Cbr />\nDisallow: /tag/\u003Cbr />\nAllow: */uploads\u003Cbr />\nAllow: /*/*.js\u003Cbr />\nAllow: /*/*.css\u003Cbr />\nAllow: /wp-*.png\u003Cbr />\nAllow: /wp-*.jpg\u003Cbr />\nAllow: /wp-*.jpeg\u003Cbr />\nAllow: /wp-*.gif\u003Cbr />\nAllow: /wp-admin/admin-ajax.php\u003Cbr />\nClean-Param: utm_source&utm_medium&utm_campaign \u003Cem># чистим UTM-метки\u003C/em>\u003Cbr />\nClean-Param: openstat \u003Cem># и про Openstat не забываем\u003C/em>\u003C/p>\n\n\u003Cp>Sitemap:  \u003Cem># прописываем путь до карты сайта\u003C/em>\u003Cbr />\nHost: https://site.ru \u003Cem># главное зеркало\u003C/em>\u003C/p>\n\n\u003Cp>\u003Cem>\u003Cpicture class=\"image-align-right\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-5/ru-5.webp\" type=\"image/webp\">\u003Cimg alt=\"Одежда для игрушки: пальто из мягкой ткани с яркими оттенками.\" class=\"image-align-right\" height=\"118\" src=\"https://cdn.quasa.io/photos/foto-5/ru-5.jpg\" width=\"250\" />\u003C/picture>\u003C/em>\u003Cstrong>Внимание!\u003C/strong> При копировании строк в файл – не забудьте удалить все комментарии (текст после #).\u003C/p>\n\n\u003Cp>Такой вариант robots.txt наиболее популярен среди вебмастеров, которые используют WP. Идеальный ли он? Нет. Вы можете попытаться что-то добавить или наоборот убрать. Но учтите, что при оптимизации текстовика роботов нередки ошибки. О них мы поговорим далее.\u003C/p>\n\n\u003Chr />\n\u003Ch4>\u003Cstrong>Robots.txt для Joomla\u003C/strong>\u003C/h4>\n\n\u003Cp>И хотя Joomla уже редко кто использует, мы считаем, что нельзя обделять вниманием эту замечательную CMS. \u003Ca href=\"https://quasa.io/ru/media/top-10-luchshih-cms-dlya-internet-magazina-kakoy-dvizhok-vybrat\">Как выбрать CMS пройдите в подробный гайд.\u003C/a> При продвижении проектов на Joomla вам непременно придется создавать файл роботс, а иначе как вы хотите закрывать от индексации ненужные элементы?\u003C/p>\n\n\u003Cp>Как и в предыдущем случае, вы можете создать файл вручную, просто закинув его на хост, либо же использовать модуль для этих целей.\u003C/p>\n\n\u003Cp>\u003Cpicture class=\"image-align-right\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-5/ru-6.webp\" type=\"image/webp\">\u003Cimg alt=\"Карикатурная робот с динамитным оружием - оптимизированный alt текст для изображения.\" class=\"image-align-right\" height=\"154\" src=\"https://cdn.quasa.io/photos/foto-5/ru-6.png\" width=\"300\" />\u003C/picture>\u003Cstrong>В обоих случаях вам придется его грамотно настраивать. Вот так будет выглядеть правильный вариант для Joomla:\u003C/strong>\u003C/p>\n\n\u003Cp>User-agent: *\u003Cbr />\nAllow: /*.css?*$\u003Cbr />\nAllow: /*.js?*$\u003Cbr />\nAllow: /*.jpg?*$\u003Cbr />\nAllow: /*.png?*$\u003Cbr />\nDisallow: /cache/\u003Cbr />\nDisallow: /*.pdf\u003Cbr />\nDisallow: /administrator/\u003Cbr />\nDisallow: /installation/\u003Cbr />\nDisallow: /cli/\u003Cbr />\nDisallow: /libraries/\u003Cbr />\nDisallow: /language/\u003Cbr />\nDisallow: /components/\u003Cbr />\nDisallow: /modules/\u003Cbr />\nDisallow: /includes/\u003Cbr />\nDisallow: /bin/\u003Cbr />\nDisallow: /component/\u003Cbr />\nDisallow: /tmp/\u003Cbr />\nDisallow: /index.php\u003Cbr />\nDisallow: /plugins/\u003Cbr />\nDisallow: /*mailto/\u003C/p>\n\n\u003Cp>Disallow: /logs/\u003Cbr />\nDisallow: /component/tags*\u003Cbr />\nDisallow: /*%\u003Cbr />\nDisallow: /layouts/\u003C/p>\n\n\u003Cp>User-agent: Yandex\u003Cbr />\nDisallow: /cache/\u003Cbr />\nDisallow: /*.pdf\u003Cbr />\nDisallow: /administrator/\u003Cbr />\nDisallow: /installation/\u003Cbr />\nDisallow: /cli/\u003Cbr />\nDisallow: /libraries/\u003Cbr />\nDisallow: /language/\u003Cbr />\nDisallow: /components/\u003Cbr />\nDisallow: /modules/\u003Cbr />\nDisallow: /includes/\u003Cbr />\nDisallow: /bin/\u003Cbr />\nDisallow: /component/\u003Cbr />\nDisallow: /tmp/\u003Cbr />\nDisallow: /index.php\u003Cbr />\nDisallow: /plugins/\u003Cbr />\nDisallow: /*mailto/\u003C/p>\n\n\u003Cp>Disallow: /logs/\u003Cbr />\nDisallow: /component/tags*\u003Cbr />\nDisallow: /*%\u003Cbr />\nDisallow: /layouts/\u003C/p>\n\n\u003Cp>User-agent: GoogleBot\u003Cbr />\nDisallow: /cache/\u003Cbr />\nDisallow: /*.pdf\u003Cbr />\nDisallow: /administrator/\u003Cbr />\nDisallow: /installation/\u003Cbr />\nDisallow: /cli/\u003Cbr />\nDisallow: /libraries/\u003Cbr />\nDisallow: /language/\u003Cbr />\nDisallow: /components/\u003Cbr />\nDisallow: /modules/\u003Cbr />\nDisallow: /includes/\u003Cbr />\nDisallow: /bin/\u003Cbr />\nDisallow: /component/\u003Cbr />\nDisallow: /tmp/\u003Cbr />\nDisallow: /index.php\u003Cbr />\nDisallow: /plugins/\u003Cbr />\nDisallow: /*mailto/\u003C/p>\n\n\u003Cp>Disallow: /logs/\u003Cbr />\nDisallow: /component/tags*\u003Cbr />\nDisallow: /*%\u003Cbr />\nDisallow: /layouts/\u003C/p>\n\n\u003Cp>Host: site.ru \u003Cem># не забудьте здесь поменять адрес на свой\u003C/em>\u003Cbr />\nSitemap: site.ru/sitemap.xml \u003Cem># и здесь\u003C/em>\u003C/p>\n\n\u003Cp>Как правило, этого достаточно, чтобы лишние файлы не попадали в индекс.\u003C/p>\n\n\u003Ch3>\u003Cstrong>Ошибки при настройке\u003C/strong>\u003C/h3>\n\n\u003Cp>Очень часто люди допускают ошибки при создании и настройке файла роботс.\u003C/p>\n\n\u003Cp>\u003Cpicture class=\"image-align-right\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-5/ru-7.webp\" type=\"image/webp\">\u003Cimg alt=\"Правильный robots.txt: создание и настройка для WordPress и Joomla\" class=\"image-align-right\" height=\"157\" src=\"https://cdn.quasa.io/photos/foto-5/ru-7.jpg\" width=\"300\" />\u003C/picture>\u003Cstrong>Вот самые часто встречающиеся из них:\u003C/strong>\u003C/p>\n\n\u003Col>\n\t\u003Cli>Правила указаны только для User-agent.\u003C/li>\n\t\u003Cli>Отсутствуют Host и Sitemap.\u003C/li>\n\t\u003Cli>Наличие http-протокола в директиве Host (нужно указывать лишь https).\u003C/li>\n\t\u003Cli>Несоблюдение правил вложенности при открытии/закрытии картинок.\u003C/li>\n\t\u003Cli>Не закрыты UTM и Openstat-метки.\u003C/li>\n\t\u003Cli>Прописывание директив host и sitemap для каждого робота.\u003C/li>\n\t\u003Cli>Поверхностная проработка файла.\u003C/li>\n\u003C/ol>\n\n\u003Cp>\u003Cpicture class=\"image-align-right\">\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-5/ru-8.webp\" type=\"image/webp\">\u003Cimg alt=\"Правильный robots.txt: создание и настройка для WordPress и Joomla\" class=\"image-align-right\" height=\"162\" src=\"https://cdn.quasa.io/photos/foto-5/ru-8.png\" width=\"311\" />\u003C/picture>Очень важно правильно настроить этот маленький файлик.\u003C/p>\n\n\u003Cp>При допущении грубых ошибок вы можете потерять значительную часть трафика, п\u003Ca href=\"https://quasa.io/ru/media/trafik-menedzher-rabota-7-kpi\">оэтому будьте предельно внимательны при настройке.\u003C/a>\u003C/p>\n\n\u003Ch4>\u003Cstrong>Как проверить файл?\u003C/strong>\u003C/h4>\n\n\u003Cp>Для этих целей лучше использовать специальные сервисы от Yandex и Google, т. к. эти поисковые системы являются наиболее популярными и востребованными (чаще всего единственно используемыми), такие поисковики как Bing, Yahoo или Rambler рассматривать нет смысла.\u003C/p>\n\n\u003Cp>Для начала рассмотрим вариант с Яндексом. Заходим в \u003Ca href=\"https://webmaster.yandex.ru/\" target=\"_blank\">Вебмастер\u003C/a>. После чего в Инструменты – Анализ robots.txt.\u003C/p>\n\n\u003Cp>\u003Cpicture>\u003Csource srcset=\"https://cdn.quasa.io/photos/foto-5/ru-3.webp\" type=\"image/webp\">\u003Cimg alt=\"Изображение веб-страницы с текстом на файле - оптимизированный ALT-текст.\" height=\"221\" src=\"https://cdn.quasa.io/photos/foto-5/ru-3.png\" width=\"400\" />\u003C/picture>\u003C/p>\n\n\u003Cp>Здесь вы сможете проверить файл на ошибки, а также проверить в реальном времени, какие страницы открыты для индексации, а какие – нет. Весьма удобно.\u003C/p>\n\n\u003Cp>\u003Ca href=\"https://quasa.io/ru/media/google-search-console-podrobnaya-instrukciya-dlya-vebmastera\">У Гугла есть точно такой же сервис\u003C/a>. Идем в \u003Ca href=\"https://www.google.com/webmasters/\" target=\"_blank\">Search Console\u003C/a>. Находим вкладку Сканирование, выбираем – Инструмент проверки файла robots.txt.\u003C/p>\n\n\u003Cp>\u003Cstrong>Здесь точно такие же функции, как и в отечественном сервисе.\u003C/strong>\u003C/p>\n\n\u003Cp>Обратите внимание, что он показывает нам 2 ошибки.\u003C/p>\n\n\u003Cp>\u003Cstrong>Связано это с тем, что Гугл не распознает директивы очистки параметров, которые мы указали для Яндекса:\u003C/strong>\u003C/p>\n\n\u003Col>\n\t\u003Cli>Clean-Param: utm_source&utm_medium&utm_campaign\u003C/li>\n\t\u003Cli>Clean-Param: openstat\u003C/li>\n\t\u003Cli>Обращать внимание на это не стоит, т. к. роботы Google используют только правила для GoogleBot.\u003C/li>\n\u003C/ol>\n\n\u003Ch4>\u003Cstrong>Заключение\u003C/strong>\u003C/h4>\n\n\u003Cp>Файл robots.txt очень важен \u003Ca href=\"https://quasa.io/ru/media/idealnaya-seo-optimizaciya-stranic-sayta-poshagovaya-instrukciya\">для SEO-оптимизации вашего сайта\u003C/a>. Подходите к его настройке со всей ответственностью, потому как при неправильной реализации все может пойти прахом.\u003C/p>\n\n\u003Cp>Учитывайте все инструкции, которыми мы поделились в этой статье, и не забывайте, что вам не обязательно точь-в-точь копировать наши варианты роботс. Вполне возможно, что вам придется дополнительно разбираться в каждой из директив, подстраивая файл под свой конкретный случай.\u003C/p>\n\n\u003Cp>До новых встреч!\u003C/p>","pravilnyy-robots-txt-sozdanie-i-nastroyka-dlya-wordpress-i-joomla","2021-06-08T16:07:38.000000Z","2025-05-29T09:00:00.000000Z","29.05.2025",{"image":89,"image_webp":90,"thumb":91,"thumb_webp":92},"https://cdn.quasa.io/images/news/zIyzPvSgjnxbuvcDtxL3z3hKuWlX3ZRiuU3b6zlw.jpg","https://cdn.quasa.io/images/news/zIyzPvSgjnxbuvcDtxL3z3hKuWlX3ZRiuU3b6zlw.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/zIyzPvSgjnxbuvcDtxL3z3hKuWlX3ZRiuU3b6zlw.jpg","https://cdn.quasa.io/thumbs/news-thumb/images/news/zIyzPvSgjnxbuvcDtxL3z3hKuWlX3ZRiuU3b6zlw.webp","large",null,6775,0,"ru",1,{"id":26,"title":27,"slug":28,"meta_title":100,"meta_description":101,"meta_keywords":102,"deleted_at":94,"created_at":103,"updated_at":104,"lang":97},"Для начинающих полные руководства на QUASA","Инсайды и инструкции, как не наступить на грабли в любой сфере жизни.","Как заработать новичку, фишки и лайфхаки","2021-01-23T11:12:38.000000Z","2024-08-25T15:47:56.000000Z",[106,122,135,146,157],{"title":107,"description":108,"slug":109,"created_at":110,"publish_at":111,"formatted_created_at":112,"category":113,"links":114,"view_type":119,"video_url":94,"views":120,"likes":96,"lang":97,"comments_count":96,"is_pinned":121},"Потеряли доступ к крипто кошельку? Единственный надежный способ вернуть активы","Потеря доступа к крипто кошельку часто воспринимается как цифровая катастрофа. Однако важно помнить: ваши монеты не «лежат» в приложении или на флешке — они находятся в блокчейне. Устройство или программа — это лишь интерфейс.","poteryali-dostup-k-kripto-koshelku-edinstvennyy-nadezhnyy-sposob-vernut-aktivy","2026-04-20T13:07:26.000000Z","2026-04-21T13:02:00.000000Z","21.04.2026",{"title":51,"slug":52},{"image":115,"image_webp":116,"thumb":117,"thumb_webp":118},"https://cdn.quasa.io/images/news/geSEtYi4nkxjy0QGmRo1hHxq0IghZxoP322SygY1.jpg","https://cdn.quasa.io/images/news/geSEtYi4nkxjy0QGmRo1hHxq0IghZxoP322SygY1.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/geSEtYi4nkxjy0QGmRo1hHxq0IghZxoP322SygY1.jpg","https://cdn.quasa.io/thumbs/news-thumb/images/news/geSEtYi4nkxjy0QGmRo1hHxq0IghZxoP322SygY1.webp","small",22,false,{"title":123,"description":124,"slug":125,"created_at":126,"publish_at":127,"formatted_created_at":112,"category":128,"links":129,"view_type":119,"video_url":94,"views":134,"likes":96,"lang":97,"comments_count":96,"is_pinned":121},"Дилемма супер-ИИ: Почему «гениальность» мешает корпоративной автоматизации","В современной индустрии ИИ наметился парадокс. Модели, которые бьют рекорды на олимпиадах по математике, часто проваливают простейшие задачи в корпоративной среде.","dilemma-super-ii-pochemu-genialnost-meshaet-korporativnoy-avtomatizacii","2026-04-20T12:24:43.000000Z","2026-04-21T11:08:00.000000Z",{"title":66,"slug":71},{"image":130,"image_webp":131,"thumb":132,"thumb_webp":133},"https://cdn.quasa.io/images/news/75jP0hVLxN1NF7yUVntNX4OETWO6SaNBMzsDxfaW.jpg","https://cdn.quasa.io/images/news/75jP0hVLxN1NF7yUVntNX4OETWO6SaNBMzsDxfaW.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/75jP0hVLxN1NF7yUVntNX4OETWO6SaNBMzsDxfaW.jpg","https://cdn.quasa.io/thumbs/news-thumb/images/news/75jP0hVLxN1NF7yUVntNX4OETWO6SaNBMzsDxfaW.webp",34,{"title":136,"description":137,"slug":138,"created_at":139,"publish_at":140,"formatted_created_at":112,"category":141,"links":142,"view_type":93,"video_url":94,"views":145,"likes":96,"lang":97,"comments_count":96,"is_pinned":121},"Как определить победителя в конкурсе в Инстаграм: сайты и сервисы в помощь","Конкурсы в соцсетях — это работающий инструмент для повышения активности подписчиков.","kak-opredelit-pobeditelya-v-konkurse-v-instagram-sayty-i-servisy-v-pomoshch","2022-02-10T11:12:47.000000Z","2026-04-21T11:00:00.000000Z",{"title":39,"slug":40},{"image":143,"image_webp":94,"thumb":144,"thumb_webp":144},"https://cdn.quasa.io/images/news/Fa1Oo5ipMxRkUGORBSGoet695foMAbsq117iylpj.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/Fa1Oo5ipMxRkUGORBSGoet695foMAbsq117iylpj.webp",4554,{"title":147,"description":148,"slug":149,"created_at":150,"publish_at":150,"formatted_created_at":112,"category":151,"links":152,"view_type":119,"video_url":94,"views":134,"likes":96,"lang":97,"comments_count":96,"is_pinned":121},"Эра «Двух Джонов»: Как Apple планирует выиграть ИИ-гонку с помощью железа, а не облаков","В сентябре 2026 года штурвал переходит к Джону Тернусу — человеку, который прошел путь от инженера-механика до вице-президента по аппаратным разработкам.","era-dvuh-dzhonov-kak-apple-planiruet-vyigrat-ii-gonku-s-pomoshchyu-zheleza-a-ne-oblakov","2026-04-21T09:59:45.000000Z",{"title":73,"slug":74},{"image":153,"image_webp":154,"thumb":155,"thumb_webp":156},"https://cdn.quasa.io/images/news/mkF3UskAefZuxc7fqrytQvomGqH5AushLinaP8ci.jpg","https://cdn.quasa.io/images/news/mkF3UskAefZuxc7fqrytQvomGqH5AushLinaP8ci.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/mkF3UskAefZuxc7fqrytQvomGqH5AushLinaP8ci.jpg","https://cdn.quasa.io/thumbs/news-thumb/images/news/mkF3UskAefZuxc7fqrytQvomGqH5AushLinaP8ci.webp",{"title":158,"description":159,"slug":160,"created_at":161,"publish_at":162,"formatted_created_at":112,"category":163,"links":164,"view_type":119,"video_url":94,"views":169,"likes":96,"lang":97,"comments_count":96,"is_pinned":121},"Эпидемия взломов в DeFi: Как Kelp DAO спровоцировал «криптопанику» и куда исчезли $800 млн","Цепная реакция, запущенная взломом инфраструктуры Kelp DAO, не только лишила проект $291 млн, но и спровоцировала один из крупнейших банковских набегов (bank run) в истории индустрии — из протокола Aave за сутки «убежало» порядка $6 млрд.","epidemiya-vzlomov-v-defi-kak-kelp-dao-sprovociroval-kriptopaniku-i-kuda-ischezli-800-mln","2026-04-20T11:01:18.000000Z","2026-04-21T09:05:00.000000Z",{"title":51,"slug":52},{"image":165,"image_webp":166,"thumb":167,"thumb_webp":168},"https://cdn.quasa.io/images/news/DvglYBqUbuoO7m5BrYl4cy2TzysGlVawuwUXCvBF.jpg","https://cdn.quasa.io/images/news/DvglYBqUbuoO7m5BrYl4cy2TzysGlVawuwUXCvBF.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/DvglYBqUbuoO7m5BrYl4cy2TzysGlVawuwUXCvBF.jpg","https://cdn.quasa.io/thumbs/news-thumb/images/news/DvglYBqUbuoO7m5BrYl4cy2TzysGlVawuwUXCvBF.webp",40,[171,184,196,208,220],{"title":172,"description":173,"slug":174,"created_at":175,"publish_at":176,"formatted_created_at":177,"category":178,"links":179,"view_type":119,"video_url":94,"views":182,"likes":183,"lang":97,"comments_count":96,"is_pinned":121},"Что такое темперамент человека и чем он отличается от характера","Сегодня мы с вами погрузимся в мир практической психологии и рассмотрим, что такое темперамент. Мы уверены, что вы не раз слышали это понятие, но, возможно, не до конца понимали его суть. Узнаем историю понятия и кратко разберем 4 типа темперамента.","chto-takoe-temperament-cheloveka-i-chem-on-otlichaetsya-ot-haraktera","2021-08-31T00:10:00.000000Z","2025-12-18T12:45:00.000000Z","18.12.2025",{"title":11,"slug":12},{"image":180,"image_webp":94,"thumb":181,"thumb_webp":181},"https://cdn.quasa.io/images/news/JhE5h2bmD07cu9sGu3ke0OOXoEws9FJd4YhdYd9t.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/JhE5h2bmD07cu9sGu3ke0OOXoEws9FJd4YhdYd9t.webp",1658343,35,{"title":185,"description":186,"slug":187,"created_at":188,"publish_at":189,"formatted_created_at":177,"category":190,"links":191,"view_type":119,"video_url":94,"views":194,"likes":195,"lang":97,"comments_count":96,"is_pinned":121},"Отрицательные качества человека: список с пояснениями + примеры для резюме","Вы узнаете, что писать в резюме, если работодатель просит перечислить свои слабые стороны, и можно ли недостатки превратить в преимущества.","otricatelnye-kachestva-cheloveka-spisok-s-poyasneniyami-primery-dlya-rezyume","2021-08-26T11:43:39.000000Z","2025-12-18T12:47:00.000000Z",{"title":11,"slug":12},{"image":192,"image_webp":94,"thumb":193,"thumb_webp":193},"https://cdn.quasa.io/images/news/QM5IJhVcPXs56iLQEVfEipRGMjoDZKwx5yOI9baM.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/QM5IJhVcPXs56iLQEVfEipRGMjoDZKwx5yOI9baM.webp",610213,116,{"title":197,"description":198,"slug":199,"created_at":200,"publish_at":201,"formatted_created_at":177,"category":202,"links":203,"view_type":119,"video_url":94,"views":206,"likes":207,"lang":97,"comments_count":96,"is_pinned":121},"Положительные качества человека: список достоинств для жизни, отношений и работы","Качества личности – это набор устойчивых психических состояний, с помощью которых человек взаимодействует с социумом, влияет на него и ведет активную деятельность.","polozhitelnye-kachestva-cheloveka-spisok-dostoinstv-dlya-zhizni-otnosheniy-i-raboty","2021-08-25T22:16:19.000000Z","2025-12-18T09:30:00.000000Z",{"title":11,"slug":12},{"image":204,"image_webp":94,"thumb":205,"thumb_webp":205},"https://cdn.quasa.io/images/news/GjO9AIKY0GptNr5rAcfA4QMPIJKlFxaJ8Yy9gCDb.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/GjO9AIKY0GptNr5rAcfA4QMPIJKlFxaJ8Yy9gCDb.webp",607147,171,{"title":209,"description":210,"slug":211,"created_at":212,"publish_at":213,"formatted_created_at":177,"category":214,"links":215,"view_type":119,"video_url":94,"views":218,"likes":219,"lang":97,"comments_count":18,"is_pinned":121},"Интересные темы для разговоров с кем угодно и где угодно","Рекомендации для интересного общения. Темы, на которые можно поговорить.","interesnye-temy-dlya-razgovorov-s-kem-ugodno-i-gde-ugodno","2021-06-06T20:04:50.000000Z","2025-12-18T13:02:00.000000Z",{"title":23,"slug":24},{"image":216,"image_webp":94,"thumb":217,"thumb_webp":217},"https://cdn.quasa.io/images/news/0MQot5gzrfi2JKDfW9BmQBR954aYKcAmIa5LRojN.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/0MQot5gzrfi2JKDfW9BmQBR954aYKcAmIa5LRojN.webp",459396,84,{"title":221,"description":222,"slug":223,"created_at":224,"publish_at":225,"formatted_created_at":177,"category":226,"links":227,"view_type":119,"video_url":94,"views":230,"likes":231,"lang":97,"comments_count":96,"is_pinned":121},"Типы личности в психологии: 6 самых распространенных классификаций","Если простыми словами, то личность – это человек, обладающий набором индивидуальных характеристик и являющийся субъектом социальных отношений.","tipy-lichnosti-v-psihologii-6-samyh-rasprostranennyh-klassifikaciy","2021-10-11T22:27:07.000000Z","2025-12-18T08:25:00.000000Z",{"title":11,"slug":12},{"image":228,"image_webp":94,"thumb":229,"thumb_webp":229},"https://cdn.quasa.io/images/news/svg5pgcLVwCHibSqq7mqRS5kUkiogG2IpLBDDoi5.webp","https://cdn.quasa.io/thumbs/news-thumb/images/news/svg5pgcLVwCHibSqq7mqRS5kUkiogG2IpLBDDoi5.webp",297722,47,[233,234,235,236,237,238,239,240,241,242,243,244,245,246,247],{"title":63,"slug":64},{"title":15,"slug":16},{"title":31,"slug":32},{"title":35,"slug":36},{"title":59,"slug":60},{"title":51,"slug":52},{"title":47,"slug":48},{"title":27,"slug":28},{"title":23,"slug":24},{"title":73,"slug":74},{"title":11,"slug":12},{"title":39,"slug":40},{"title":66,"slug":71},{"title":43,"slug":44},{"title":19,"slug":20}]