Screaming Frog SEO Spider: сканирование сайта и разбор отчётов

Что такое Screaming Frog SEO Spider и что доступно без лицензии

SEO Spider (в разговорной речи — «SEO Frog» или «скриминг фрог») помогает проверить техническую основу сайта — одну из частей, из которых складывается SEO: показывает, что находит на сайте робот, который переходит по ссылкам. По описанию разработчика, программа позволяет найти битые ссылки, ошибки и редиректы, проанализировать title и метаданные, директивы robots, найти дубли страниц. Она также формирует XML Sitemap, отрисовывает JavaScript, извлекает данные по заданным правилам, сравнивает краулинги и подключает данные Google Analytics, Search Console и PageSpeed Insights.

Это не онлайн-сервис, а приложение, которое устанавливают на компьютер. Её скачивают с официальной страницы программы.

Бесплатная версия и лицензия: в чём разница

Без лицензии программа сканирует не больше 500 URL за один обход. Лицензия снимает этот лимит и открывает настройки и дополнительные функции:

Возможность	Бесплатная версия	С лицензией
Лимит сканирования	до 500 URL за обход	лимит 500 URL снят
Настройка сканирования	закрыта, обход с настройками по умолчанию	доступна
Сохранение и повторное открытие краулингов	нет	да
Рендеринг JavaScript	нет	да
Custom Extraction (извлечение данных со страниц, «парсинг») и поиск по исходному коду	нет	да
Интеграции Google Analytics, Search Console, PageSpeed Insights	нет	да
Сравнение краулингов	нет	да, в режиме хранения в базе данных
Расписание сканирований	нет	да

Лимита в 500 URL достаточно, чтобы познакомиться с программой и проверить небольшой сайт. Для полного обхода большого сайта его не хватит, а сохранить результат и сравнить его со следующим обходом без лицензии нельзя.

Как просканировать сайт: подготовка и запуск

Сканирование (краулинг, обход) — это последовательная загрузка страниц: программа открывает стартовый URL, находит на нём ссылки и переходит по ним дальше. Перед запуском стоит выбрать режим и проверить настройки, иначе обход может оказаться неполным.

Режимы сканирования: весь сайт или список адресов

• Spider — основной режим. Программа сканирует поддомен, который вы указали, и идёт по ссылкам.
• List — проверка заданного списка адресов. Режим включается через меню Mode → List. Список можно вставить, загрузить из файла или получить из XML Sitemap. По умолчанию в этом режиме сканируются только адреса из списка. Режим подходит, например, для проверки редиректов после переезда сайта.

Есть и другие режимы, в том числе Compare для сравнения двух краулингов. О нём — в разделе о работе с результатами.

Что проверить в настройках до старта

В бесплатной версии настройки закрыты, и программа обходит сайт с параметрами по умолчанию. С лицензией настройки находятся в меню Configuration. Ниже — какие параметры влияют на полноту обхода и от какой ошибки они защищают.

• robots.txt. Программа соблюдает robots.txt. Сначала она ищет правила для своего user-agent, затем для Googlebot, затем для всех роботов. Заблокированные адреса не сканируются, их видно на вкладке Response Codes в фильтре Blocked by Robots.txt. Игнорировать robots.txt можно только в лицензионной версии. О том, какие директивы robots.txt ограничивают обход, есть отдельная статья.
• Рендеринг JavaScript. По умолчанию работает режим Text Only: программа читает только исходный HTML и не выполняет JavaScript на стороне клиента. Если меню, ссылки или текст формирует скрипт, без режима JavaScript программа их не увидит. Режим JavaScript отрисовывает страницу во встроенном браузере Chrome и доступен с лицензией. Google обрабатывает такие страницы в три этапа: сканирование, отрисовка, индексирование.
• Include и Exclude. Правила на регулярных выражениях ограничивают обход. Include оставляет только подходящие адреса, Exclude исключает адреса из сканирования полностью, а не просто скрывает их в интерфейсе. Так обход не уходит в адреса фильтров и параметров.
• User-agent. Настройка меняет user-agent запросов и то, каким правилам robots.txt следует программа. По умолчанию это «Screaming Frog SEO Spider».
• Скорость. Скорость задают число потоков и максимальное число URL в секунду. Разработчик предупреждает: больше потоков — больше запросов к серверу, и это может замедлить ответы сайта.
• Поддомены. По умолчанию программа сканирует только стартовый поддомен, а остальные считает внешними сайтами. Если у сайта несколько поддоменов, включите их обход отдельно.
• XML Sitemap. В режиме Spider карты сайта по умолчанию не сканируются. Для этого есть настройка Crawl Linked XML Sitemaps.
• nofollow. По умолчанию программа не переходит по ссылкам с атрибутами nofollow, sponsored и ugc.

Сканирование создаёт нагрузку на сервер. Поэтому большой сайт лучше сканировать с умеренной скоростью и заранее согласовать обход с теми, кто отвечает за сервер.

Запуск и первая проверка результата

Введите адрес в поле Enter URL to spider и нажмите Start. Данные обновляются во время обхода, а внизу окна видны скорость и число обработанных и оставшихся URL.

Когда обход закончится, проверьте его полноту. Совпадает ли число найденных HTML-страниц с тем, что вы ожидали? Нет ли на старте массовых блокировок или редиректов, например с http на https или с www на адрес без www? Если страниц подозрительно мало, перейдите к разделу «Чего краулер не покажет» и проверьте robots.txt, ссылки в JavaScript и nofollow.

Какие отчёты смотреть для SEO

Данные разложены по вкладкам, у каждой вкладки есть фильтры. На правой вкладке Issues программа собирает проблемы, предупреждения и возможности для улучшения, а каждому пункту присваивает тип и оценку приоритета. По словам разработчика, предупреждение — не обязательно ошибка, его нужно проверить.

Важно: подсветка ошибок, приоритеты и пороги длины — это настройки и классификация инструмента, а не правила Google или Яндекса. Пороги длины title и description меняются в настройках программы. Перед исправлением сверяйтесь с официальными справками поисковых систем.

Коды ответа: 4xx, 5xx и битые ссылки

Код ответа (HTTP-статус) — число, которым сервер отвечает на запрос страницы. Вкладка Response Codes показывает коды ответа внутренних и внешних URL. Битые ссылки — это ссылки на адреса с ошибкой 4xx. Их показывает фильтр Client Error (4XX).

Чтобы найти страницы, с которых ведёт такая ссылка, выберите URL и откройте нижнюю вкладку Inlinks: источники будут в колонке From. Выгрузить все пары «источник — битый адрес» можно через Bulk Export → Response Codes → Client Error (4XX) Inlinks.

Внешние ссылки собраны на вкладке External: туда попадают адреса на других поддоменах. Это и есть проверка исходящих ссылок.

Что это значит для поиска:

• 4xx. Google не использует контент URL с кодом 4xx и не индексирует их, а уже проиндексированные такие URL удаляет из индекса. В справке Яндекса код 404 означает «документ не существует», 410 — что ресурс окончательно удалён.
• 5xx. При ошибках 5xx и 429 роботы Google временно замедляют сканирование. В справке Яндекса 500 — непредвиденная ошибка сервера, 503 — временная перегрузка или техническое обслуживание.

Редиректы и цепочки редиректов

Редирект — ответ сервера, который отправляет робота на другой адрес. Фильтр Redirection (3XX) показывает серверные редиректы, например 301 и 302. Фильтр Redirect Chain — внутренние адреса, которые ведут на URL с ещё одним редиректом. Полные цепочки выгружаются через Reports → Redirects → Redirect Chains.

Как это трактуют поисковые системы:

• Google. Постоянный редирект — сигнал, что каноническим должен стать конечный адрес. Временный редирект таким сигналом не считается. По умолчанию роботы Google проходят до 10 переходов в цепочке.
• Яндекс. Робот проиндексирует страницу, на которую установлено перенаправление, если она доступна.

Внутренние ссылки лучше вести сразу на конечный адрес: тогда роботу не нужно проходить промежуточные переходы.

Canonical: самоссылающийся, на другой адрес, отсутствует

Canonical — указание основного адреса страницы, если её содержимое доступно по нескольким URL. На вкладке Canonicals есть, в частности, фильтры Self Referencing (canonical указывает на саму страницу), Canonicalised (на другой адрес), Missing (не указан) и Non-Indexable Canonical.

Canonical — подсказка, а не команда. Google называет способы указать канонический URL рекомендуемыми, но не обязательными, и без них выберет основной адрес сам. Яндекс воспринимает канонический адрес как рекомендацию и может её проигнорировать. Подробнее о том, как работает каноническая ссылка, — в отдельной статье.

Meta robots, X-Robots-Tag и адреса, закрытые в robots.txt

Метатег robots и HTTP-заголовок X-Robots-Tag задают правила индексирования для страницы. Вкладка Directives показывает такие директивы, в том числе фильтры Noindex и Nofollow, а также директивы из заголовка X-Robots-Tag. Адреса, закрытые в robots.txt, видны в фильтре Blocked by Robots.txt.

noindex запрещает показывать страницу в результатах поиска Google. По справке Яндекса страница с noindex не будет участвовать в результатах поиска. Если страница закрыта в robots.txt, директиву в метатеге или заголовке поисковые системы не увидят. Подробно о том, как работают noindex и nofollow, — в отдельной статье.

Title, description и H1: пустые, дублирующиеся, слишком длинные

На вкладках Page Titles, Meta Description и H1 есть фильтры Missing (элемент отсутствует), Duplicate (повторяется на нескольких страницах), а также фильтры длины. Пороги длины — настройки программы, их можно изменить.

У Google нет ограничения длины title: ссылку-заголовок в результатах поиска он формирует автоматически и может взять текст не только из title, но и, например, из заголовков страницы или анкоров ссылок. Описание в результатах тоже создаётся автоматически. Meta description Google использует, если она точнее описывает страницу, чем её контент. Поэтому фильтр длины — повод проверить страницу, а не готовая ошибка.

Дубли страниц

На вкладке Content фильтр Exact Duplicates показывает полностью одинаковые страницы, а Near Duplicates — похожие по заданному порогу сходства. Чтобы заполнить Near Duplicates, нужно включить поиск почти точных дублей в настройках (Configuration → Content → Duplicates) и после обхода запустить Crawl Analysis. Настройки, напомним, доступны с лицензией.

Дубли возникают, например, из-за GET-параметров, слеша в конце адреса, версий с www и без www, http и https. Основной адрес указывают через canonical, 301-редирект или, для Яндекса, директиву Clean-param.

Глубина вложенности и внутренние ссылки

Глубина вложенности (crawl depth) — число переходов от стартовой страницы до текущей. Программа показывает её в колонке Crawl Depth на вкладке Internal. Там же есть колонки Inlinks и Unique Inlinks — число внутренних ссылок на URL. Страницы, с которых ведут ссылки на выбранный URL, видны в нижней вкладке Inlinks.

Link Score — метрика программы от 0 до 100. Она оценивает относительный вес страницы по внутренним ссылкам и заполняется после Crawl Analysis. Это расчёт инструмента, а не сигнал поисковой системы.

По справке Яндекса время индексирования внутренней страницы зависит в том числе от глубины её вложенности. Конкретного числа уровней справка не называет. О том, как спроектировать уровни вложенности, и о том, что делать со страницами без входящих ссылок и анкорами, — в отдельных статьях.

Сводная таблица: что проверить и как трактовать

Что проверить	Где в программе	Как трактовать	Куда дальше
Битые ссылки (4xx)	Response Codes → Client Error (4XX); источники — нижняя вкладка Inlinks	Google не индексирует URL с 4xx и удаляет их из индекса	Исправить или убрать внутренние ссылки на такие адреса (рекомендация)
Ошибки сервера (5xx)	Response Codes → Server Error (5XX)	Google временно замедляет сканирование; у Яндекса 503 — временная перегрузка или обслуживание	Передать разработчикам, повторить проверку
Редиректы и цепочки	Response Codes → Redirection (3XX), Redirect Chain; Reports → Redirects → Redirect Chains	Постоянный редирект — сигнал канонизации конечного адреса, временный — нет	Вести внутренние ссылки на конечный адрес (рекомендация)
Canonical	Canonicals → Canonicalised, Missing, Non-Indexable Canonical	Подсказка, а не команда	Проверить, что canonical указывает на нужный адрес (рекомендация)
noindex, meta robots	Directives → Noindex, Nofollow; X-Robots-Tag	Страница с noindex не показывается в поиске	Проверить, что noindex стоит только там, где нужен
Закрыто в robots.txt	Response Codes → Blocked by Robots.txt	Директивы на такой странице поисковики не увидят	Сверить с правилами robots.txt
Title, description, H1	Page Titles, Meta Description, H1 → Missing, Duplicate, фильтры длины	Google формирует заголовок и описание автоматически; лимита длины title нет	Пустые и повторяющиеся по шаблону — исправить (рекомендация)
Дубли	Content → Exact Duplicates, Near Duplicates	Основной адрес — через canonical, 301 или Clean-param	Выбрать основной адрес
Глубина	Internal → Crawl Depth, Inlinks	Яндекс: срок индексирования зависит в том числе от глубины	Проверить, как связаны важные страницы

Как выгрузить список всех страниц сайта

Экспорт адресов после сканирования

Вкладка Internal содержит все данные, найденные на сканируемом сайте. Чтобы оставить только страницы, выберите на ней фильтр HTML. Кнопка Export в левом верхнем углу выгружает данные текущей вкладки и фильтра в таблицу. В выгрузке есть колонки Status Code и Indexability: по ним в таблице удобно оставить страницы с кодом 200, которые программа считает индексируемыми.

Для массовых выгрузок есть меню Bulk Export. В программе также можно создать XML Sitemap через меню Sitemaps. О том, как устроить и отправить карту сайта, — в отдельной статье.

Страницы, до которых нет ссылок

В режиме Spider программа находит только те страницы, на которые ведут ссылки. Страница-сирота (orphan page) — страница, которую нельзя найти по внутренним ссылкам от стартовой страницы. Чтобы найти такие страницы, программе нужны дополнительные источники адресов: XML Sitemap, данные Google Analytics и Search Console.

Порядок такой:

1. Включить Crawl Linked XML Sitemaps в Configuration → Spider → Crawl.
2. Подключить Google Analytics и Search Console в Configuration → API Access.
3. После обхода запустить Crawl Analysis → Start.
4. Посмотреть фильтр Orphan URLs на вкладках Sitemaps, Analytics и Search Console или выгрузить отчёт Reports → Orphan Pages.

Для такой проверки нужна лицензия: без неё недоступны полный обход сайта и настройка интеграций. Другой путь — загрузить адреса из Sitemap в режиме List и сравнить их с адресами, найденными при обходе по ссылкам.

Список URL из краулера — это адреса, которые были доступны по ссылкам на момент обхода. Это не страницы в индексе Google или Яндекса. Чтобы понять, какие страницы попали в индекс и как это проверить, нужны данные самих поисковых систем.

Чего краулер не покажет

• Индекс и решения поисковой системы. Попала ли страница в индекс и какую каноническую версию выбрал поисковик, видно в инструменте проверки URL Search Console и в «Проверке страницы» Вебмастера. Краулер этих данных не содержит.
• Контент и ссылки, которые создаёт JavaScript, если рендеринг выключен. В режиме Text Only программа читает только исходный HTML, а в бесплатной версии рендеринг недоступен. Googlebot при этом отрисовывает страницы, поэтому результаты могут расходиться. При этом ссылки Google обычно обрабатывает, только если это элемент <a> с атрибутом href.
• Адреса без входящих ссылок, если вы не добавили другие источники URL (см. предыдущий раздел).
• Состояние сайта в другой момент. Краулер фиксирует ответы сервера только на время обхода. Поисковый робот мог получить другой ответ, например при другой нагрузке на сервер или другом user-agent.
• Приоритеты для вашего сайта. Программа показывает список отклонений и собственную оценку их важности, но не знает, какие разделы важны для бизнеса. Это решение остаётся за специалистом.

Что делать с результатами сканирования

1. Группируйте ошибки по шаблонам и разделам. Одна ошибка в шаблоне повторяется на многих страницах. Исправить шаблон обычно быстрее, чем править каждый URL.
2. Сверяйте трактовку с правилами поисковых систем, а не с подсветкой программы. Опора — сводная таблица выше.
3. Сканируйте сайт повторно после исправлений. Режим Mode → Compare сравнивает два краулинга и показывает, что изменилось во вкладках и фильтрах, например в title, description и глубине. Для сравнения нужны лицензия и режим хранения в базе данных. Без лицензии сравнивайте выгрузки вручную.

Краулинг — только одна часть проверки сайта. О том, из чего состоит техническая проверка сайта, есть отдельная статья.

Чек-лист после сканирования:

• нет внутренних ссылок на адреса с кодами 4xx и 5xx;
• во внутренних ссылках нет цепочек редиректов;
• canonical самостоятельных страниц указывает на них самих;
• noindex стоит только там, где страница действительно не должна быть в поиске;
• title и description не пустые и не повторяются по шаблону;
• важные страницы находятся по ссылкам и не спрятаны глубоко в структуре;
• результат повторного сканирования сравнён с исходным.

Если ошибки шаблонные, повторяются после каждого релиза или их слишком много для ручной правки, нужна системная работа с техническими ошибками сайта.

Частые вопросы

Что такое краулер и чем он отличается от поискового робота?

Поисковый робот — программа поисковой системы. Яндекс описывает робота как систему, которая обходит страницы сайтов и загружает их в свою базу; Google называет роботами автоматизированные программы, которые скачивают контент с сайтов. SEO-краулер обходит сайт похожим образом, но запускает его владелец или специалист, чтобы увидеть технические данные своего сайта. В индекс поисковой системы эти данные не попадают.

Можно ли пользоваться Screaming Frog онлайн?

Нет. Это приложение для Windows, macOS и Linux, его устанавливают на компьютер.

Хватит ли бесплатной версии?

Зависит от размера сайта и задачи. Бесплатная версия сканирует до 500 URL за обход с настройками по умолчанию. Сохранение краулингов, рендеринг JavaScript и интеграции в ней недоступны. Подробнее — в таблице раздела «Бесплатная версия и лицензия».

Почему программа нашла меньше страниц, чем есть на сайте?

Проверьте по порядку:

• не упёрся ли обход в лимит 500 URL;
• не закрыты ли разделы в robots.txt;
• не формирует ли ссылки JavaScript при выключенном рендеринге;
• не стоят ли на ссылках nofollow, по которым программа по умолчанию не переходит;
• нет ли страниц без входящих ссылок;
• не ограничен ли обход правилами Include / Exclude.

Подробнее — в разделах о настройках и о том, чего краулер не покажет.

Как часто сканировать сайт?

Единой нормы нет. Сканируйте сайт после релизов, смены шаблонов, переезда и массовых изменений, а также регулярно — с частотой, которая соответствует тому, как часто меняется сайт. Запуск сканирований по расписанию (File → Scheduling) доступен с лицензией.