Script de téléchargement de site GoGetLinks : comment j'ai vaincu les pop-ups, les interdictions et les fuites de mémoire

Script de téléchargement de site GoGetLinks : comment j'ai vaincu les pop-ups, les interdictions et les fuites de mémoire

Предыстория. Раньше у меня уже был рабочий скрипт выгрузки для ГГЛ — запускался из консоли, всё летало. Прилетела новая задача, подумал: сделаю «на раз-два». Сделал — и внезапно выяснилось, что часть данных (тематика, TF, CF и др.) скрывается в тултипе, который появляется только при наведении на адрес сайта в таблице. Наводить вручную — так себе идея. А поймать код всплывашки не получалось: элемент подгружался через JS и существовал только в момент наведения. Спас ChatGPT: подсказал короткий код для консоли, который «фиксирует» тултип, чтобы вытащить его разметку.

С чем пришлось бороться. После допила скрипта время работы выросло в разы. Пытался ускорять — ловил баны. Параллельно появилась другая беда: память забивалась, вкладка падала. Переписывал скрипт несколько раз — без толку.

Поворотный момент. По совету ChatGPT переехал на Tampermonkey: для таких задач он дружелюбнее, чем голая консоль. Первые попытки тоже были не очень — долго + подвисания. Дальше гпт подсказал попробовать перехват запросов (сниф) и корректировку логики. С этого момента всё стабилизировалось. Итог по производительности: выгрузка всех площадок одного каталога (Например Яндекс, там около 25500 урлов) — около 5,5 часа.

Как пользоваться (короткий мануал).

1. Установить скрипт: https://seo-drift.ru/userscripts/ggl-export/ggl-export.user.js
   Если Tampermonkey ещё не стоит — поставить расширение, а затем вернуться к ссылке для установки.
2. Войти в аккаунт GGL → «Каталог площадок» → настроить нужные фильтры → выбрать Яндекс или Google → выставить «Количество на странице» (рекомендую 50 или 100).
3. Если скрипт активирован, в правом нижнем углу появится значок GGL → нажать → «Старт».
4. Автосохранение включено каждые 20 страниц по умолчанию (можно изенить в самом скрипте). При первом запуске Tampermonkey может попросить разрешения на сохранение — его нужно выдать.
5. Сделать два прохода — отдельно для Яндекса и для Google. Затем объединить выгрузки через Excel.

Что дальше. Готовлю скрипты и для других бирж. В финале соберу итоговый отчёт, чтобы наглядно видеть разницу по ценам — она есть и часто немаленькая. Сейчас активно закупаюсь в GGL (уже набралось несколько кейсов), доноров отбираю собственным Python-скриптом. Дальше будут тесты на миралинкс и сапе.