Каталоги сами себя не потрошат, так что я сделал это скриптом

Каталоги сами себя не потрошат, так что я сделал это скриптом

Парсинг каталогов по тематическим сайтам - это совсем не новая тема, особенно для тех, у кого есть апарсер. Но откуда у меня деньги на такое волшебство, поэтому пришлось изобретать.

Собрал скрипт, который ходит по каталогам организаций, парсит карточки и вытаскивает домены по заданным маскам. Понятное дело, что каталогов может быть гораздо больше, чем сейчас в скрипте находится.

🛠 Что внутри:

3 каталога: orgpage, spravker, firmap

Поиск по маскам: вводишь запросы через |, например: медицинский центр|управление клиникой|повышение квалификации врачей

Дальше скрипт сам: - проходит выдачу каталогов - собирает карточки организаций - вытаскивает сайты - чистит мусорные домены - дедуплицирует результат - складывает всё в CSV

Плюсом добавил базовый чек сайта: HTTP-статус, финальный URL, title, meta robots и признаки контактов.

Это не волшебная кнопка найти жирный дроп и уехать на сказочноебали (пробел поставь сам). Это быстрый сборщик тематических доменов, 90% которых мусор, которые брать даже стыдно.

А дальше уже можно и посмотреть Web Archive, индексация, спам-история, тематика, анкоры, исходящие, весь этот любимый SEO-зоопарк.

Кому пригодится: SEO-шникам, линкбилдерам, дроповодам и всем, кто хочет сначала собрать базу, а уже потом включать голову.

🔗 Репозиторий: https://github.com/Fairfaks/drop-catalog-parsing