Чтобы провести самостоятельный аудит сайта, следуйте перечисленным ниже пунктам.
В статье описаны основные моменты, которые должны быть проверены на сайте перед продвижением или запуском.
Техническая оптимизация
Любой анализ начинается с парсинга. Глубокий анализ сразу покажет проблемы: например, сколько страниц удалено, возможно, среди них есть важные страницы, собирающие трафик. Анализ парсером продемонстрирует, сколько страниц может быть проиндексировано, а какая доля URL закрыта неожиданным noindex или в файле robots.txt. Подробнее про инструменты парсинга: «Обзор ТОП-6 парсеров сайтов».
1. Проверка robots.txt
Традиционно начинаем с проверки robots.txt – файл с рекомендациями для поисковиков об индексировании содержимого. Правила файла могут быть учтены или проигнорированы роботами.
Что должно быть закрыто правилом Disallow:
Проверить закрытие от индексации страниц входа в CMS («/bitrix», «/login», «/admin», «/administrator», «/wp-admin»).
Закрытие страниц с дублированным контентом, rss, feed.
Что не нужно закрывать:
Весь сайт.
Часть сайта.
Отдельные страницы с контентом.
Карточки товаров.
Служебные страницы: Контакты, Доставка, Оплата, О нас.
Чем проверять:
Проверка валидности файла осуществляется в старой панели GSC (Crawl – robots.txt Tester). Здесь вы можете проверить любую страницу на закрытость или открытость для роботов.
В одном из телеграм-каналов, на которые я подписана и регулярно читаю — Смысловые галюцинации (@statusq) — публикуются #едкиефразы, идеальные для циников и мизантропов.
Мне нравится! С сарказмом, иногда жёстко, иногда весело. К месту может пригодиться)..
Основные хештеги канала — #чернаяриторика и #бейсловом — чётко отражают его стиль.