🐸

🐸 Лягушка, которая заменит вам 💰 платный Линкчекер

Мой подход (простая в реализации версия) для проверки наличия ссылок, а также индексабельности (доступности страниц для индексации)

Для чего это?

Повышать эффективность линкбилдинга.

1) Перестать платить за гарантированно неработающие ссылки (скрин 4). Актуально в первую очередь для крауда, сабмиттов, но проблемы находятся и на донорах с бирж.

2) Для выяснения причин, почему ссылки не в индексе. Более эффективный подход, чем просто гонять индексатором до бесконечности то, что проиндексировано быть не может.

3) Оценка живости ваших ссылок.

4) Оценка живости ссылок конкурента

Сам подход

В Screaming Frog, ставим настройки:

Скрин 1: — Always Follow Redirects = true // если урл редиректит, то переходим по редиректу — Always Follow Canonicals = true // если указан каноничным другой адрес - краулим его — User Agent = Googlebot (Smartphone) // опционально, плюсы - пытаемся обнаружить подмену контента по UA, минусы - сайт может для фейковых ботов отдавать ошибочный код ответа или другой контент (кейсов хватает), тут выбор зависит от конкретной выборки.

Скрин 2: Идем в Custom Extraction, там заполняем Regex'ы*:

*В регулярках заменить домен на свой, доменную зону тоже, если она отличается.

<(?:a|A)[^>]*href=(?:"|')[\s]*(http[^"']*(?:askgamblers|m2)\.(?:com|by|ru)[^"']*)(?:"|')[^>]*>

html
<(?:a|A)[^>]*href=(?:"|')\s*http[^"']*(?:askgamblers|m2)\.(?:com|by|ru)[^"']*(?:"|')[^>]*rel=(?:"|')([^"']*)(?:"|')[^>]*>

<(?:a|A)[^>]*href=(?:"|')\s*http[^"']*(?:askgamblers|m2)\.(?:com|by|ru)[^"']*(?:"|')[^>]*>((?:(?!<\/a>).|\n)*?)<\/(?:a|A)>

html
<a[^>]*href=["']http[^"']*(?:askgamblers|m2)\.(?:com|by|ru)[^"']*["'][^>]*>(?:(?!<\/a>).)*?<img[^>]*alt=["']([^"']+)["'][^>]*>(?:(?!<\/a>).)*?<\/a>

Далее загружаем список ссылок для проверки, жмем "Start". Индексабельность = Indexability status, а на вкладке Custom Extraction проверка наличия ссылок, анкоров (включая img alt), атрибутов

***

Пока собирался писать видео на эту тему @wood2man в своем канале уже выкладывал таблицу, для проверки наличия ваших ссылок на донорах.

Плюсы у моего решения:

— Проверяется индексабельность страниц. Способов закрыть страницу со ссылкой много, далеко не только кодом ответа. Разработчики фрога определяют проблему если не всегда, то почти всегда. Можно и самостоятельно добавить все проверки в свое решение, но это время на отладку разных кейсов, их там хватает.

— Многопоточность, можно запускать хоть в 100 потоков и быстро парсить объемы. Нет ограничений гугла.

— User Agent получается нужный нам (Googlebot т.е.). Часть площадок скрывают ссылки по UA.

— Вы не палите свои ссылки Google, ведь все знают, что он следит за содержимым ваших гугл-таблиц =)

Минусы

— Если вы в РФ и стоит блокировка по этому ГЕО, то часть сайтов может быть недоступна - VPN в помощь. Актуально больше для буржа + доноры, заблоченные РКН (зона .ua, например, на моем провайдере недоступна полностью)

— Если сайт закрыт от ботов с помощью клаудфлера/антибота/другой капчей/анализатором до отдачи контента - фрог скажет, что ссылки нет. Но тут и сторонние решения вернут некорректный результат в большинстве случаев (не уверен, что есть вообще норм сервис на рынке в этом плане).

— Если сайт закрыт от фейкового гуглбота - вернется чаще всего ошибочный код ответа.

Вывод:

Проверяем так только те страницы, где получился корректный ответ (код 200 + наличие Title для надежности, иначе могла сработать защита от парсинга). Но и это огромная помощь при проверке объемов. Страницы, где ссылок не нашлось или вернулся код ответа не 200 - лучше посмотреть ручками. Либо писать свое улучшенное решение.

Более продвинутая версия этого подхода - разработка скрипта с хранением в БД списка страниц со ссылками, автоматическая проверка по расписанию, алерты при пропаже ссылок/закрытие страницы от индесации/смене анкора. Также можно научиться обходить клаудфлер и аналоги тем же апарсером / использованием браузерного движка. Но работать можно и с этим.

*** Канал Strong SEO