На основе обратной связи пользователей, обновил расширение по SEO

Что сделали:

— починили парсинг «robots.txt» и определение закрытой/открытой от индексации страницы (в соответствии со стандартом Robots Exclusion Protocol — RFC9309);
— включили подсветку рекламы Яндекс в поиске по видео;
— не собираем теперь полностью пустые таблицы;
— адаптировали сбор таблиц под сайт www.gogetlinks.net;
— обновили логику парсинга заголовка таблиц;
— добавили подсветку на <!—noindex—>такой ноиндекс<!—/noindex—>;
— обновили логику закрытой инде…