Screaming Frog SEO Spider 23.1 [Multi]

БАЗОВЫЙ ФУНКЦИОНАЛ СКАНИРОВАНИЯ:

• Быстрое и эффективное сканирование: От небольших блогов до крупных порталов с миллионами страниц. Гибридная система хранения (RAM + диск) обеспечивает высокую производительность.
  
• Поиск битых ссылок (404, 4XX, 5XX): Автоматическое обнаружение всех битых ссылок, серверных ошибок с массовым экспортом источников и целевых URL для быстрого устранения.
  
• Глубокий аудит редиректов: Детектирование постоянных (301), временных (302) редиректов, JavaScript-перенаправлений, meta-refresh, выявление цепочек и петель редиректов.
  
• Анализ метаданных страниц: Автоматическая проверка Title, Meta Description, Meta Keywords, H1-H6 на длину, дубликаты, отсутствие, множественность элементов.
  
• Обнаружение дублированного контента: Точные дубликаты через алгоритм MD5, частичные дубли элементов (titles, descriptions, headings), near-duplicate content, страницы с низким объёмом контента.
  
• Анализ внутренней структуры и линковки: Детальная оценка глубины вложенности страниц (crawl depth), распределение внутренних ссылок, anchor-текстов, follow/nofollow атрибутов.
  

ПРОДВИНУТЫЕ ТЕХНОЛОГИИ КРАУЛИНГА:

• JavaScript Rendering через Chromium: Полноценный рендеринг динамических сайтов на React, Angular, Vue.js, Next.js и других JS-фреймворках через встроенный headless Chromium WRS. Анализ как исходного HTML, так и отрендеренного DOM.
  
• Визуализация архитектуры сайта: Интерактивные force-directed диаграммы, древовидные графы (tree graphs) для оценки структуры сайта, внутренней перелинковки и распределения Link Score.
  
• Сравнение сканирований (Crawl Comparison): Отслеживание изменений между разными краулами, сравнение staging и production окружений через продвинутый URL Mapping, трекинг прогресса устранения SEO-проблем.
  
• Запланированные аудиты (Scheduling): Автоматизация сканирований по расписанию (ежедневно, еженедельно, ежемесячно), автоматический экспорт результатов в Google Sheets или локальные папки.
  
• Command Line Interface (CLI): Полная автоматизация через командную строку для интеграции в CI/CD процессы, DevOps-пайплайны и автоматические SEO-аудиты.
  
• Облачный режим работы: Возможность запуска Spider в облачных средах (AWS, Google Cloud, Azure) для масштабных проектов.
  

AI-ИНТЕГРАЦИЯ ДЛЯ АВТОМАТИЗАЦИИ SEO:

• OpenAI (GPT-4, GPT-4 Turbo, GPT-5-mini, o1, o1-mini): Интеграция с ChatGPT для автоматической генерации и анализа контента.
  
• Google Gemini (Gemini 1.5 Pro, 2.5-flash): Использование моделей Google для обработки больших объемов текста.
  
• Anthropic Claude (Claude 3.5 Sonnet, Claude 4-5, Opus, Haiku): Интеграция с Claude для сложных аналитических задач.
  
• Ollama: Поддержка локальных LLM-моделей для приватного анализа без передачи данных третьим лицам.
  
• Кастомные AI-промпты: Создание собственных промптов для автоматизации любых SEO-задач.
  

Примеры применения AI:
• Автоматическая генерация мета-тегов (title, description) для тысяч страниц
• Анализ тональности и качества контента
• Категоризация и классификация страниц по темам
• Автоматическое создание alt-текстов для изображений
• Выявление тонких проблем в контенте (читабельность, релевантность)
• Семантический анализ и поиск аномалий в текстах
• Массовая обработка и улучшение контента за минуты

ИНТЕГРАЦИИ С ВНЕШНИМИ СЕРВИСАМИ:

• Google Analytics (GA4, Universal Analytics): Прямое подключение к GA API для получения данных о трафике, пользователях, конверсиях, поведенческих метриках прямо во время краула.
  
• Google Search Console: Интеграция с Search Analytics API и URL Inspection API для массового сбора данных об индексации, производительности в поиске, Core Web Vitals, найденных проблемах.
  
• PageSpeed Insights & Lighthouse: Автоматический сбор метрик производительности (LCP, FID, CLS), диагностики, возможностей оптимизации и данных Chrome User Experience Report (CrUX) для всех страниц сайта.
  
• Ahrefs API v3: Импорт данных о backlinks, referring domains, domain rating, organic traffic через новый OAuth для всех тарифов (включая Standard).
  
• Majestic API: Получение Trust Flow, Citation Flow, количества backlinks и referring domains для контент-аудита.
  
• Moz API: Интеграция с Moz для получения Domain Authority, Page Authority, MozRank и других метрик.
  
• Looker Studio (Google Data Studio): Автоматическое создание интерактивных дашбордов и визуализаций на основе данных краулинга.
  

СПЕЦИАЛИЗИРОВАННЫЕ ВОЗМОЖНОСТИ:

• Robots.txt аудит и тестирование: Просмотр заблокированных URL, создание кастомного robots.txt, тестирование директив, проверка meta robots, X-Robots-Tag (noindex, nofollow, noarchive, nosnippet).
  
• Генерация XML Sitemap: Быстрое создание XML-карт сайта и Image XML Sitemaps с гибкой настройкой URL для включения, last-modified, priority, change frequency.
  
• Аудит XML Sitemap: Проверка существующих sitemap на ошибки, поиск missing pages, non-indexable URLs, orphan pages (страницы вне sitemap).
  
• Hreflang аудит: Глубокая проверка мультиязычных атрибутов на missing return links, inconsistent language codes, incorrect implementations, non-canonical hreflang.
  
• Structured Data & Schema.org валидация: Извлечение и валидация структурированных данных (JSON-LD, Microdata, RDFa) на соответствие Schema.org и требованиям Google Rich Results.
  
• AMP аудит и валидация: Сканирование Accelerated Mobile Pages с проверкой через встроенный официальный AMP Validator, поиск ошибок реализации.
  
• Mobile Usability audit: Проверка мобильной адаптивности, viewport settings, clickable elements, font sizes, content width.
  
• Web Accessibility (WCAG): Аудит доступности сайта по стандартам WCAG 2.1 (уровни A, AA, AAA), выявление проблем для пользователей с ограниченными возможностями.
  
• Spelling & Grammar Check: Проверка орфографии и грамматики контента на 25+ языках (включая английский, немецкий, французский, испанский, итальянский, португальский и другие).
  
• Security аудит: Проверка HTTPS/HTTP, mixed content (HTTP resources on HTTPS pages), insecure forms, missing security headers (HSTS, CSP, X-Frame-Options).
  
• Canonical аудит: Выявление missing canonicals, non-indexable canonicals, canonicals to redirects, canonical chains, inconsistent implementations.
  
• Pagination аудит (rel=next/prev): Проверка корректности атрибутов пагинации, выявление ошибок в имплементации.
  

КАСТОМИЗАЦИЯ И ПАРСИНГ:

• Custom Extraction (XPath, CSS, Regex): Извлечение абсолютно любых данных из HTML через XPath-селекторы, CSS-селекторы или регулярные выражения — цены, артикулы (SKU), рейтинги, social meta tags (OG, Twitter Cards), дополнительные H-теги, любые кастомные элементы.
  
• Custom Search: Поиск любого контента в исходном коде страниц — Google Analytics/Tag Manager коды, Facebook Pixel, специфические тексты, скрипты, классы, ID элементов.
  
• Custom JavaScript: Выполнение собственных JavaScript-сценариев во время рендеринга страниц для модификации DOM, сбора дополнительных данных, имитации действий пользователя.
  
• Custom Link Positions: Анализ позиции ссылок на странице (header, footer, sidebar, main content) для оценки их SEO-ценности.
  
• N-grams анализ: Статистический анализ часто встречающихся словосочетаний (2-3-4-граммы) для выявления ключевых тем и оптимизации контента.
  

ВИЗУАЛИЗАЦИЯ И АНАЛИТИКА:

• Crawl Tree Visualisation: Древовидная визуализация структуры сайта с цветовой индикацией проблем.
  
• Force-Directed Crawl Diagram: Интерактивная граф-диаграмма внутренней перелинковки с возможностью фокусировки на отдельных узлах и их связях.
  
• Directory Tree Graph: Визуализация структуры директорий и распределения страниц по разделам сайта.
  
• Content Cluster Diagram: Семантическая кластеризация страниц на основе embeddings для выявления тематических групп и аномалий.
  
• Link Score: Проприетарная метрика оценки важности страниц на основе внутренней линковки (аналог PageRank).
  
• Semantic Search: Семантический поиск похожих страниц через векторные embeddings для редирект-маппинга и контент-дедупликации.
  

ЭКСПОРТ И ОТЧЁТНОСТЬ:

• Массовый экспорт данных: XLSX, CSV, TSV с гибкой настройкой экспортируемых полей и фильтрацией данных.
  
• Автоэкспорт в Google Sheets: Прямая интеграция с Google Таблицами для автоматической выгрузки результатов краулинга.
  
• Bulk Reports: Массовое создание отчётов по всем проблемным областям (broken links, redirects, duplicates, missing meta).
  
• Looker Studio Reports: Автоматическая генерация дашбордов и визуализаций для презентации результатов аудита.
  

ДОПОЛНИТЕЛЬНЫЕ ВОЗМОЖНОСТИ:

• User-Agent Switcher: Эмуляция различных User-Agent (Googlebot, Bingbot, Googlebot Smartphone, кастомные UA) для проверки cloaking и mobile-first indexing.
  
• Custom HTTP Headers: Добавление любых HTTP-заголовков в запросы (Accept-Language, Cookie, Authorization, Custom Headers).
  
• Forms Authentication: Поддержка авторизации через формы логина для сканирования закрытых разделов сайта.
  
• Proxy Support: Настройка прокси-серверов (HTTP, HTTPS, SOCKS5) для обхода географических ограничений и rate limits.
  
• Cookie Management: Продвинутое управление cookies, cookie audit для GDPR/compliance проверок.
  
• Response Time Tracking: Отслеживание времени ответа каждой страницы для выявления медленных URL.
  
• Crawl Speed Control: Гибкая настройка скорости обхода (количество потоков, задержки между запросами) для предотвращения перегрузки сервера.
  
• URL Rewriting: Функция перезаписи URL для тестирования различных конфигураций и миграций.
  
• CDN Detection: Автоматическое определение использования CDN и анализ оптимизации ресурсов.
  
• Segmentation: Создание кастомных сегментов для группировки и анализа различных типов страниц (blog posts, product pages, category pages).
  
• Link Position Analysis: Анализ позиции ссылок на странице (header, footer, sidebar, main content) для оценки SEO-веса.
  

ТИПОВЫЕ ЗАДАЧИ И СЦЕНАРИИ ПРИМЕНЕНИЯ:

1. Технический SEO-аудит
• Комплексная проверка сайта на технические ошибки и проблемы индексации
• Выявление битых ссылок, серверных ошибок, проблем с редиректами
• Аудит robots.txt, meta robots, X-Robots-Tag директив
• Проверка canonical tags, hreflang, pagination attributes
• Анализ структуры URL, дубликатов контента, thin content

2. Миграция сайта
• Создание полной карты старого сайта перед переездом
• Планирование и проверка правил редиректов (301)
• Сравнение staging и production окружений
• Валидация успешности миграции через crawl comparison
• Поиск битых ссылок и orphan pages после переезда

3. Оптимизация мета-данных
• Массовый аудит title, description, H1 на всех страницах
• Выявление дубликатов, missing элементов, превышения длины
• Автоматическая генерация улучшенных метатегов через AI
• Экспорт данных для работы контент-команды
• Валидация внесённых изменений

4. Структурированные данные и Rich Snippets
• Проверка Schema.org markup (JSON-LD, Microdata, RDFa)
• Валидация на соответствие требованиям Google Rich Results
• Аудит Product, Review, Article, FAQ, Breadcrumb, Organization markup
• Поиск ошибок в имплементации и недостающих элементов

5. Анализ производительности
• Массовая проверка Core Web Vitals (LCP, FID, CLS) через PageSpeed Insights
• Выявление медленных страниц и bottlenecks
• Аудит размеров изображений, тяжёлых ресурсов
• Проверка response time для всех URL
• Оптимизация на основе Lighthouse рекомендаций

6. Контент-аудит
• Анализ объёма контента на страницах (word count)
• Выявление thin content, duplicate content
• Проверка орфографии и грамматики на 25+ языках
• Readability analysis и оценка качества текстов
• Семантическая кластеризация страниц по темам

7. International SEO
• Глубокий аудит hreflang attributes
• Проверка language codes, return links
• Валидация структуры мультиязычного/мультирегионального сайта
• Поиск orphan pages в языковых версиях

8. Mobile-First и Progressive Web Apps
• Аудит мобильной версии сайта
• Проверка viewport settings, touch elements
• Валидация AMP-страниц
• Сравнение desktop и mobile crawl

9. JavaScript-сайты (SPA)
• Полноценное сканирование React, Angular, Vue.js приложений
• Сравнение raw HTML и rendered HTML
• Выявление проблем индексации JS-контента
• Проверка hydration и client-side routing

10. E-commerce SEO
• Массовый парсинг цен, наличия, SKU
• Аудит Product Schema markup
• Анализ структуры категорий и фильтров
• Проверка canonical на страницах с фильтрами
• Выявление orphan products и missing H1

11. Конкурентный анализ
• Изучение структуры и архитектуры сайтов конкурентов
• Анализ их использования метатегов и Schema
• Оценка внутренней перелинковки
• Сравнение технической реализации

12. Мониторинг и автоматизация
• Регулярные scheduled crawls для отслеживания изменений
• Автоматические алерты при появлении критических ошибок
• Интеграция в CI/CD для pre-deployment проверок
• Экспорт метрик в системы мониторинга

• Обновление интеграции PageSpeed Insights & Lighthouse 13: Полная поддержка актуальных метрик Google, консолидация и переименование аудитов, учёт breaking changes, автоматические уведомления при экспорте.
  
• Ahrefs API v3 с OAuth: Новая версия API с поддержкой всех тарифных планов (не только Enterprise), обновлённые метрики (backlinks, traffic, domain rating), улучшенная аналитика ссылочного профиля.
  
• Crawl Retention — автоудаление старых сканов: Настройка автоматического удаления проектов по расписанию, защита важных сканов через "Lock", оптимизация использования дискового пространства.
  
• Embeddings Rules для семантического анализа: Продвинутые правила для сравнения страниц через векторные представления, гибкая настройка URL-паттернов для redirect mapping и контент-дедупликации.
  
• Расширенная визуализация внутренних ссылок: Новая функциональность выделения Inlinks/Outlinks в интерактивных графах, мгновенная оценка перелинковки любой секции сайта, анализ дочерних элементов.
  
• Content Cluster Diagram с визуализацией ссылок: Отображение связей между семантически похожими страницами, выявление gaps во внутренней перелинковке тематических кластеров.
  
• Новые лимиты и управление краулом: Лимитирование обхода по поддоменам, улучшенный подсчёт H1/H2 по всей странице, настраиваемый percent encoding для URL.
  
• Улучшенные фильтры и экспорт: Единый отчёт по всем ошибочным inlinks, специальный отчёт "Redirects to Errors", новый фильтр HTTP Refresh, drag-and-drop для приоритизации Custom Search/Extraction/JS.
  
• Обновлённые AI-модели: OpenAI GPT-5-mini, Google Gemini 2.5-flash, Anthropic Claude Sonnet 4-5 для более точного анализа контента.
  
• Поддержка ирландского языка: Добавлена проверка орфографии и грамматики для ирландского (Irish Gaelic).
  
• Множество bug fixes и оптимизаций производительности: Улучшена стабильность работы, ускорено сканирование больших сайтов, исправлены известные проблемы.
  

Полный Changelog версии 23.0/23.1 на официальном сайте

✓ ИНДУСТРИАЛЬНЫЙ СТАНДАРТ
Используется крупнейшими компаниями мира: Apple, Google, Disney, Amazon, NASA, Microsoft и тысячами SEO-агентств. Признан как must-have инструмент профессионального SEO-специалиста.

✓ УНИВЕРСАЛЬНОСТЬ
Подходит для аудита любых типов сайтов: от небольших блогов до enterprise-порталов, e-commerce площадок с миллионами товаров, новостных сайтов, SaaS-платформ, JavaScript-приложений.

✓ ВЫСОКАЯ ПРОИЗВОДИТЕЛЬНОСТЬ
Эффективное сканирование как малых (100-500 страниц), так и гигантских сайтов (сотни тысяч и миллионы URL). Гибридная система хранения обеспечивает оптимальное использование ресурсов.

✓ КРОСС-ПЛАТФОРМЕННОСТЬ
Нативные версии для Windows, macOS и Linux (Ubuntu, Fedora). Возможность запуска в облачных средах (AWS, Google Cloud, Azure).

✓ РЕГУЛЯРНЫЕ ОБНОВЛЕНИЯ
Постоянное развитие и добавление новых функций в соответствии с изменениями алгоритмов Google и индустриальных стандартов. Быстрая реакция на баги и запросы пользователей.

✓ БОГАТАЯ ДОКУМЕНТАЦИЯ
Подробнейший User Guide на 100+ страниц, десятки туториалов, видео-инструкции, активное комьюнити, форум поддержки.

✓ ГИБКАЯ НАСТРОЙКА
Сотни параметров конфигурации для любых сценариев: от простого аудита до сложнейших enterprise-задач с кастомной логикой.

✓ ИНТЕГРАЦИИ
Прямая работа с Google Analytics, Search Console, PageSpeed Insights, Ahrefs, Majestic, Moz, OpenAI, Gemini, Claude, Looker Studio.

✓ АВТОМАТИЗАЦИЯ
CLI для DevOps, scheduling для регулярных проверок, API для интеграции в собственные системы, экспорт в Google Sheets.

✓ ТЕХНИЧЕСКАЯ ПОДДЕРЖКА
Бесплатная поддержка даже для платных пользователей, приоритетная обработка запросов, активная помощь в решении проблем.

✓ АДЕКВАТНАЯ ЦЕНА
Бесплатная версия для малых проектов (до 500 URL), платная лицензия всего €245/год для безлимитного использования и всех функций. Один из самых доступных enterprise-инструментов на рынке.

УСТАНОВКА И ПЕРВЫЙ ЗАПУСК:

1. УСТАНОВКА ПРОГРАММЫ
• Скачайте установочный файл для вашей ОС (Windows, macOS, Linux)
• Запустите установщик и следуйте инструкциям
• Windows: ScreamingFrogSEOSpider-VERSION.exe устанавливается в C:\Program Files (x86)\Screaming Frog SEO Spider\
• macOS: Перетащите приложение из .dmg файла в папку Applications
• Linux (Ubuntu): Установите .deb пакет через dpkg или GUI

2. АКТИВАЦИЯ ЛИЦЕНЗИИ (для платной версии)
• Откройте меню Licence > Enter Licence Key
• Введите username и licence key, полученные при покупке
• После активации перезапустите программу
• Бесплатная версия ограничена 500 URL, платная — без лимитов

3. НАЧАЛЬНАЯ НАСТРОЙКА ПАМЯТИ И ХРАНИЛИЩА

Database Storage Mode (рекомендуется для SSD):
• File > Settings > Storage Mode > Database Storage (по умолчанию)
• Преимущества: автосохранение краулов, быстрое открытие, поддержка миллионов URL
• Требуется SSD для оптимальной скорости

Memory Storage Mode (для HDD или малых краулов):
• File > Settings > Storage Mode > Memory Storage
• Хранит данные в RAM, требует ручного сохранения

Настройка выделения памяти:
• File > Settings > Memory Allocation
• Для краулов до 200k URL: 8GB RAM
• Для краулов до 2M URL: 4GB RAM в Database Mode
• Для краулов 2M+ URL: 16GB+ RAM + SSD обязательно

ЗАПУСК ПЕРВОГО КРАУЛА:

1. РЕЖИМ SPIDER (обход сайта)
• В поле "Enter URL to spider" введите URL сайта (например: https://example.com)
• Выберите режим обхода в верхнем свитчере:
- Subdomain: только один поддомен (www.example.com)
- All Subdomains: все поддомены (www, blog, shop и т.д.)
- Subfolder: конкретная подпапка (/blog/, /products/)
• Нажмите кнопку "Start"
• Краул начнется и будет обновляться в реальном времени

2. РЕЖИМ LIST (список URL)
• Mode > List
• Вставьте или загрузите список URL для проверки
• Полезно для миграций, аудита редиректов, проверки конкретных страниц
• Нажмите "Start"

3. КОНТРОЛЬ КРАУЛА
• Pause — приостановить краул
• Resume — продолжить краул
• Clear — очистить данные и начать новый краул
• Внизу интерфейса: скорость, общее количество URL, оставшиеся URL

БАЗОВАЯ КОНФИГУРАЦИЯ КРАУЛА:

1. ОСНОВНЫЕ НАСТРОЙКИ ОБХОДА
Configuration > Spider > Basic

Что сканировать:
• Check Images — сканировать изображения
• Check CSS — CSS файлы
• Check JavaScript — JS файлы
• Check SWF — Flash файлы
• Check External Links — внешние ссылки
• Снимите галочки для фокусировки только на HTML

2. ОГРАНИЧЕНИЯ КРАУЛА
Configuration > Spider > Limits

• Max URI To Crawl — максимум URL (например, 10000)
• Max Crawl Depth — глубина обхода (например, 5 уровней)
• Max Query String Parameters — лимит параметров в URL
• Max Folder Depth — максимальная глубина папок

3. EXCLUDE (ИСКЛЮЧЕНИЯ)
Configuration > Spider > Exclude

• Исключите URL по regex паттерну
• Примеры:
- .*\?.*utm_.* — исключить UTM параметры
- .*/admin/.* — исключить админку
- .*\.pdf$ — исключить PDF файлы

4. INCLUDE (ВКЛЮЧЕНИЯ)
Configuration > Spider > Include

• Сканировать ТОЛЬКО URL, соответствующие паттерну
• Пример: .*blog.* — только раздел блога

5. JAVASCRIPT RENDERING
Configuration > Spider > Rendering

• AJAX/JavaScript Rendering Mode: включить для SPA (React, Angular, Vue)
• Использует встроенный Chromium браузер
• Режимы:
- Disabled — без рендеринга (только статичный HTML)
- Text Only — рендерит текст
- Screenshot — делает скриншоты страниц

6. USER AGENT
Configuration > Spider > User-Agent

• Выберите UA для эмуляции:
- Screaming Frog SEO Spider (по умолчанию)
- Googlebot Desktop
- Googlebot Smartphone
- Custom — свой UA

ПРОСМОТР И АНАЛИЗ ДАННЫХ:

1. ГЛАВНОЕ ОКНО — ВКЛАДКИ

Internal: Все внутренние URL сайта
• Фильтры: HTML, JavaScript, CSS, Images, PDF и др.
• Все данные краула в одной таблице

Response Codes: Группировка по HTTP статусам
• Success (2xx) — успешные ответы
• Redirection (3xx) — редиректы
• Client Error (4xx) — ошибки клиента (404, 403)
• Server Error (5xx) — ошибки сервера

Page Titles: Анализ title тегов
• Фильтры: Missing, Duplicate, Over X Characters, Under X Characters

Meta Description: Анализ meta description
• Missing, Duplicate, Over/Under X Characters

Meta Keywords: meta keywords (устарели для SEO, но иногда нужны)

H1 / H2: Заголовки H1 и H2
• Missing, Duplicate, Multiple

Images: Все изображения
• Missing Alt Text, Over X KB

Canonicals: Canonical теги
• Missing, Self Referencing, Canonicalised

Directives: Meta robots и X-Robots-Tag
• Noindex, Nofollow, Blocked by Robots.txt

Pagination: rel=next/prev атрибуты

Hreflang: Мультиязычная разметка

Structured Data: Schema.org markup (JSON-LD, Microdata)

2. НИЖНЕЕ ОКНО — ДЕТАЛИ URL

Кликните на URL в верхнем окне, чтобы увидеть:

Inlinks: Входящие ссылки на эту страницу
• Столбцы: Source (откуда), Target (куда), Anchor Text, Type (ahref/canonical)
• Критично для анализа битых ссылок и редиректов

Outlinks: Исходящие ссылки с этой страницы

Image Details: Детали изображений на странице
• Alt Text, Size, Source URL

Resources: CSS, JS, fonts загружаемые страницей

Duplicate Details: Дубликаты и похожий контент

URL Details: Детальная информация об URL
• Status Code, Indexability, Canonical, Meta Robots

3. ПРАВАЯ ПАНЕЛЬ — OVERVIEW & ISSUES

Overview: Сводка краула в реальном времени
• Количество URL в каждом фильтре
• Кликабельно — переход к фильтру

Issues: Проблемы, предупреждения, возможности
• Приоритеты: High, Medium, Low
• Типы: Issue, Warning, Opportunity
• Объяснения на 5 языках

ЭКСПОРТ ДАННЫХ:

1. ЭКСПОРТ ВКЛАДОК И ФИЛЬТРОВ
• Кнопка "Export" в верхнем левом углу
• Экспортирует текущую вкладку с активным фильтром
• Форматы: CSV, Excel (.xls, .xlsx), Google Sheets

2. ЭКСПОРТ ДЕТАЛЕЙ URL
• Выделите URL в верхнем окне
• Правый клик > Export > выберите тип (Inlinks, Outlinks, etc.)
• Мультивыделение: Ctrl/Cmd + клик для экспорта нескольких URL

3. BULK EXPORT
Bulk Export (меню сверху)

Популярные опции:
• Response Codes > Client Error (4xx) Inlinks — все источники 404
• Links > All Inlinks — все входящие ссылки на сайте
• Images > Missing Alt Text — изображения без alt
• Structured Data > Validation Errors — ошибки разметки

4. EXPORT TO GOOGLE SHEETS
• Export format > Google Sheets
• Manage > Add Account > авторизуйтесь
• Экспорт попадет в Google Drive > Screaming Frog SEO Spider

СОХРАНЕНИЕ И ОТКРЫТИЕ КРАУЛОВ:

В DATABASE STORAGE MODE:
• Краулы автосохраняются
• File > Crawls — просмотр всех сохраненных
• Правый клик: Rename, Duplicate, Delete
• Export: File > Export > .dbseospider (для DB) или .seospider (универсальный)

В MEMORY STORAGE MODE:
• File > Save — сохранить как .seospider
• File > Open — открыть .seospider
• Можно сохранить в процессе (pause → save → resume)

ПРОДВИНУТЫЕ ФУНКЦИИ:

1. CUSTOM SEARCH (поиск в HTML)
Configuration > Custom > Search

• Ищите всё что угодно в исходном коде
• Regex поддерживается
• Примеры: GA tracking код, email адреса, конкретный текст

2. CUSTOM EXTRACTION (парсинг данных)
Configuration > Custom > Extraction

• XPath, CSS Selector, Regex для извлечения данных
• Примеры: цены, SKU, даты, авторы, рейтинги
• Результат в отдельной вкладке

3. ИНТЕГРАЦИИ С API

Google Analytics:
Configuration > API Access > Google Analytics
• Подключите GA аккаунт для обогащения данных трафиком

Google Search Console:
Configuration > API Access > Google Search Console
• Импортируйте данные по кликам и позициям

PageSpeed Insights:
Configuration > API Access > PageSpeed Insights
• Массовый аудит Core Web Vitals

Ahrefs / Majestic / Moz:
• Добавьте API ключ для метрик внешних ссылок

4. AUTHENTICATION (авторизация)
Configuration > Spider > Authentication

• Basic HTTP Authentication
• Digest Authentication
• Form-Based Authentication (логин через форму)
• NTLM Authentication

5. CUSTOM ROBOTS.TXT
Configuration > robots.txt > Custom

• Загрузите robots.txt и отредактируйте
• Тестируйте правила до применения на сайте
• Полезно для staging окружений

6. SCHEDULING (планировщик)
File > Scheduling

• Запускайте краулы по расписанию
• One-off или recurring (daily, weekly, monthly)
• Автоэкспорт результатов в Google Sheets
• Email уведомления

ВИЗУАЛИЗАЦИИ:

1. FORCE-DIRECTED CRAWL DIAGRAM
Visualisations > Force-Directed Crawl Diagram

• Интерактивный граф внутренней перелинковки
• Зелёные — индексируемые, красные — неиндексируемые
• Правый клик > Focus для детализации

2. DIRECTORY TREE DIAGRAM
Visualisations > Directory Tree Diagram

• Визуализация URL структуры сайта
• Группировка по папкам

3. WORD CLOUDS
• Inlink Anchor Text Word Cloud — анкоры ссылок
• Body Text Word Cloud — текст на странице

REPORTS (ОТЧЁТЫ):

Reports (меню сверху)

Crawl Overview Report: Общая сводка краула

All Redirects: Все редиректы и цепочки

Redirect Chains: Цепочки из 2+ редиректов

Canonicals Reports: Проблемы с canonical

Pagination Reports: Ошибки rel=next/prev

Hreflang Reports: 7 отчётов по hreflang

Insecure Content: HTTP контент на HTTPS страницах

Orphan Pages: Страницы без внутренних ссылок

ГОРЯЧИЕ КЛАВИШИ:

• Ctrl/Cmd + F — поиск в таблице
• Ctrl/Cmd + E — экспорт текущей вкладки
• Ctrl/Cmd + S — сохранить краул
• Ctrl/Cmd + O — открыть краул
• Del — удалить выбранный URL из таблицы
• Right Click — контекстное меню для быстрого доступа

СОВЕТЫ И ТРИКИ:

1. СКОРОСТЬ КРАУЛА
• Configuration > Spider > Speed
• Threads: начните с 5-10, увеличивайте осторожно (риск блокировки)
• Request Timeout: 30 сек по умолчанию
• Delay Between Requests: 0 сек (используйте 1-2 сек на чувствительных серверах)

2. ОБХОД БЛОКИРОВОК
• Изменяйте User-Agent
• Используйте Proxy в Configuration > Network > Proxy Settings
• Добавляйте Custom Headers (например, Referer)
• Снижайте скорость (больше delay между запросами)

3. РАБОТА С БОЛЬШИМИ САЙТАМИ
• Разбивайте на подпапки (Subfolder режим)
• Используйте Include фильтры
• Установите Max Crawl Depth = 3-4
• Database Storage Mode обязателен

4. АНАЛИЗ КОНКУРЕНТОВ
• Краульте сайт конкурента (режим List)
• Сравните структуру URL, titles, descriptions
• Используйте Custom Search для поиска аналитики конкурента
• Экспортируйте в Google Sheets для сравнения

5. РЕДИРЕКТ ЧЕЙНЫ И ПЕТЛИ
• Reports > All Redirects > Redirect Chains
• Ищите цепочки 3+ редиректов (замедляют индексацию)
• Диагностируйте редирект петли (A → B → A)

6. ПОИСК СЛОМАННЫХ ССЫЛОК
• Response Codes > Client Errors (4xx)
• Экспортируйте Inlinks этих 404
• Исправьте на фронтенде или редиректьте

7. SEO AUDIT ЗА 5 МИНУТ
• Запустите краул с режимом All Pages
• Перейдите на вкладку Issues
• Сортируйте по High Priority
• Экспортируйте в Excel

АВТОМАТИЗАЦИЯ И ИНТЕГРАЦИИ:

1. API SCREAMING FROG
• Запустите Local API: File > Settings > API > Enable Local API
• Порт: 8080 (по умолчанию)
• Примеры запросов:
- GET http://localhost:8080/api/v1/crawls — список краулов
- POST http://localhost:8080/api/v1/crawls — создать новый краул
- GET http://localhost:8080/api/v1/crawls/{id}/run — запустить краул

2. ИНТЕГРАЦИЯ С n8n
• Используйте HTTP модуль для вызова Screaming Frog API
• Запускайте краулы по расписанию (cron)
• Отправляйте результаты в Slack, email, Google Sheets

3. SCRIPTING
• Bash/Python для автоматизации экспорта
• Парсирование .seospider файлов (на самом деле это SQLite DB)
• Регулярные аудиты без участия человека

ЧАСТЫЕ ОШИБКИ:

1. НЕПРАВИЛЬНАЯ ГЛУБИНА КРАУЛА
• Слишком глубокий краул = бесконечные циклы
• Установите Max Crawl Depth = 3-5
• Используйте Exclude фильтры для параметров

2. ЗАБЫВАЮТ ИСКЛЮЧИТЬ ПАРАМЕТРЫ
• URL с ?page=1&page=2&page=3 создают дубликаты
• Добавьте в Exclude: .*\?.*
• Или используйте параметры в Configuration > Spider > URLs

3. НЕ ТЕСТИРУЮТ ROBOTS.TXT
• Программа соблюдает robots.txt
• Проверьте, не блокируете ли вы важные разделы
• Configuration > robots.txt > View для проверки

4. ИГНОРИРУЮТ АВТОРИЗАЦИЮ
• Если контент за логином, используйте Authentication
• Иначе краул вернёт только 403 Forbidden

5. ЗАПУСКАЮТ КРАУЛ НА БОЕВОМ СЕРВЕРЕ БЕЗ СОГЛАСОВАНИЯ
• Могу вызвать DDoS подозрения
• Договоритесь с владельцем сайта
• Используйте лимиты скорости

ЗАКЛЮЧЕНИЕ:

Screaming Frog SEO Spider — это незаменимый инструмент для SEO специалистов, разработчиков и маркетологов. С помощью этого руководства вы сможете:

✓ Быстро диагностировать SEO проблемы
✓ Аудировать структуру сайта
✓ Находить и исправлять ошибки индексации
✓ Анализировать конкурентов
✓ Автоматизировать регулярные аудиты
✓ Экспортировать данные для дальнейшей обработки

Начните с базовых функций (Spider режим, основные фильтры), постепенно переходите на продвинутые (API, Custom Extraction, Scheduling). Инвестируйте в платную версию, если работаете с крупными сайтами (10k+ страниц).

Удачи в SEO оптимизации! 🚀