Главное Свежее Вакансии   Проекты
277 0 В избр. Сохранено
Авторизуйтесь
Вход с паролем

Screaming Frog Seo Spider. Как аккаунт-менеджер ПО настраивал

Статья пригодиться тем, чья работа не только стоит на потоке в плане сканирования проектов, но и при этом требует установить такие настройки, которые одинаково подойдут, как на средние проекты с количеством URL до 500 тыс., так и для небольших сайтов.

Статья пригодиться тем, чья работа не только стоит на потоке в плане сканирования проектов, но и при этом требует установить такие настройки, которые одинаково подойдут, как на средние проекты с количеством URL до 500 тыс., так и для небольших сайтов.

Начну с того, что в нашей компании, как и в любом более-менее крупном рекламном digital-агентстве, остро стоит вопрос оптимизации и автоматизации рутинных процессов, освобождая время для решения более важных стратегических задач.

Так вот: пройдя испытательный срок и проработав в агентстве примерно 2 месяца, взялся я за задачи ежемесячного сканирования по нескольким проектам. В seo я, в принципе, не новичок, но моя основная специализация — это аккаунт-менеджмент и маркетинг.

Время от времени, я как аккаунт-менеджер для собственных нужд по проекту и обсуждения деталей продвижения с клиентами провожу анализ выдачи их сайтов в выдаче в целом, в ТОП 10 поисковиков, но иной раз есть потребность в том, чтобы провести подробное сканирование сайта.

Сканирование проектов осуществляю, как и все на ПО Screaming Frog SEO Spider . Установил прогу, получил от руководства на нее лицензию и не трогал в ней ничего из настроек параметров сканирования (ибо все работало, а как известно не надо чинить то, что не сломалось).

Ну и шло все своим чередом, пока не попался мне в ведение проект довольно масштабный, особенно в рамках своей профессиональной деятельности.

Запускал я сканирование несколько раз, где выяснилось, что величина проекта примерно 430 тыс. URL , при том, что прошлые процессы сканирования ограничивались проектами величиной max 1200-1700 URL . И проблема не в том, что сканирование проекта занимало около суток (как я понял из прочитанных мной материалов — это норма), а в том, что, оставляя на ночь работающий процесс, возвращался я к неизменно зависшей программе на прогрессе в 88-94%!

Инструкция к screaming frog seo spider , естественно, более чем подробно дает понимание того, что и для чего настраивается, но конкретных рекомендаций по настройке не дает.

Далее я обратился к поиску на тему того как правильно использовать seo spider tool . Перечитав несколько статей, посвященных настройке программы, сделал вывод, что в них описано то же самое, что и в инструкции, но более кратко и попроще.

В итоге по своему вопросу решил я воспользоваться помощью наших опытных специалистов, которые (за что им действительно огромное спасибо) буквально на пальцах объясняли мне по каким принципам данное ПО работает и дали несколько очень дельных рекомендаций по настройке.

В итоге, после 3 дней путем проб, ошибок и консультаций с коллегами я пришел к следующему

Характеристики устройства:

Процессор — Intel ( R ) Core ( TM )

i 3-7020 U

CPU 2.30 GHz

Оперативная память — 8,00 ГБ

Тип системы — 64-разрядная операционная система, процессор x64

Как видите показатели устройства весьма средние, но мне по роду обязанностей очень мощное железо то и не нужно, т. к. на выполнения своих задач, такой машины более чем хватает.

Настройки программы Screaming Seo spider (версия 14.1, последнее обновление):

1. Все данные по проекту записываются на SSD диск, размером 107 Гб. За заполняемостью диска конечно же надо следить и ненужные устаревшие данные стирать вручную. Компенсировать можно сделав экспорт проекта.

2. Включен рендер с использованием javascript

3. Отключены ограничения количества потоков сканирования

4. Максимальное количество URL в секунду — 2

5. Если вы параллельно выполняете еще трудоемкие процессы на рабочей машине (например работаете с парсингом в KeyCollector ), то обязательно ставьте краулинг на паузу.

Ниже привожу скрины с настройками Spider Configuration :

ВНИМАНИЕ!

В обязательном порядке, в настройках программы необходимо в методах записи информации по проекту выставить запись на жесткий диск, который обязательно SSD !









При описанных характеристиках устройства и настройках Screaming Frog, сканирование проекта величиной в 420-450 тыс. URL занимает порядка 30 часов, при условии того, что как минимум 12 часов сканирование выполняется параллельно с другими задачами на рабочем устройстве.

P. S. Решение о написании и публикации данного материала было принято после безуспешных попыток найти в пространстве рунета статьи о том, какие настройки рекомендуется выставлять в программе Screaming Frog . Находилась лишь общая информация о том, какие пункты в программе и ее конфигурации что обозначают, что человеку сведущему в SEO «как мертвому припарка». Поэтому, коллеги, читайте, пользуйтесь, делитесь с другими, и да пребудет с Вами Сила!)

0
В избр. Сохранено
Авторизуйтесь
Вход с паролем