Чтобы провести самостоятельный аудит сайта, следуйте перечисленным ниже пунктам.
В статье описаны основные моменты, которые должны быть проверены на сайте перед продвижением или запуском.
Техническая оптимизация
Любой анализ начинается с парсинга. Глубокий анализ сразу покажет проблемы: например, сколько страниц удалено, возможно, среди них есть важные страницы, собирающие трафик. Анализ парсером продемонстрирует, сколько страниц может быть проиндексировано, а какая доля URL закрыта неожиданным noindex или в файле robots.txt. Подробнее про инструменты парсинга: «
1. Проверка robots.txt
Традиционно начинаем с проверки robots.txt – файл с рекомендациями для поисковиков об индексировании содержимого. Правила файла могут быть учтены или проигнорированы роботами.
Что должно быть закрыто правилом Disallow:
- Проверить закрытие от индексации страниц входа в CMS («/bitrix», «/login», «/admin», «/administrator», «/wp-admin»).
- Проверить закрытие страниц с индикаторами сессий.
- Технические страницы – авторизации, смены пароля, оформления заказа.
- Результаты внутреннего поиска по сайту.
- Версии страниц для печати.
- Закрытие страниц с дублированным контентом, rss, feed.
Что не нужно закрывать:
- Весь сайт.
- Часть сайта.
- Отдельные страницы с контентом.
- Карточки товаров.
- Служебные страницы: Контакты, Доставка, Оплата, О нас.
Чем проверять:
- Проверка валидности файла осуществляется в старой панели GSC (Crawl – robots.txt Tester). Здесь вы можете проверить любую страницу на закрытость или открытость для роботов.
Читать далее «Чек-лист по внутренней оптимизации сайта: 18 required пунктов»