Alternativa al análisis

Alternativa al análisis

A veces surge la tarea de entender qué contenido se encuentra en la lista de URLs, Screaming Frog ya está bloqueado en muchos lugares, importHTML en Google Sheets falla después de unas pocas docenas de resultados, y no todos querrán comprar y entender A-Parser.

Ejemplo de tarea: recopilamos un informe grupal sobre las páginas de los competidores y necesitamos entender de qué temas se tratan, o estamos buscando donantes de enlaces y queremos conocer las temáticas. Así que hace un par de años se me ocurrió simplemente recopilar datos de los resultados para un análisis rápido. Curiosamente, hasta ahora no he encontrado una herramienta donde se pueda entregar una lista de URLs y obtener el título de los resultados.

Principio de funcionamiento:

• En el archivo query.txt colocamos la lista de páginas
• El script toma un paquete de 50 URLs y en 10 hilos verifica el primer resultado en los resultados
• Guarda a medida que analiza en el archivo result.xlsx
• En caso de errores, hace 2 intentos más para obtener los datos

El costo del análisis es igual al costo de consultar a Yandex — 20 rublos/1000 consultas, sin bloqueos, proxies ni rodeos. Desventajas: en el título de los resultados solo hay parte del texto.

Ejemplo de implementación y descripción completa en Github⬇️, el resto se puede completar por uno mismo