AI Web Data Analysis Database

Necesito poner en marcha, lo antes posible, un sistema que construya de forma automática una base de datos a partir de información obtenida en páginas web muy concretas y que, una vez poblada, permita aplicar análisis de datos con algoritmos de IA para extraer patrones y métricas útiles.

Ya dispongo de la lista de sitios objetivo y de los campos que me interesa capturar; faltarían la arquitectura técnica y la lógica de scraping, limpieza y almacenamiento. Me siento cómodo con soluciones en Python (Scrapy, Beautiful Soup, Pandas, scikit-learn) o tecnologías equivalentes, siempre que el flujo quede bien documentado y resulte fácil de mantener o ampliar.

Entrego acceso a un servidor limpio —tú decides si SQL, NoSQL o ambos encajan mejor— y espero un flujo end-to-end que descargue, normalice, guarde y analice los datos, preferentemente en Jobs/ETL automáticos programados.

Entrego con especial urgencia, así que busco un desarrollo ágil y entregables claros:

• Código fuente completo del scraper y del módulo de análisis.
• Esquema de la base de datos y script de despliegue.
• Dataset inicial cargado y validado.
• Breve guía de uso que me permita relanzar el proceso cuando añada nuevas URLs.

Si manejas buenas prácticas de scraping responsable (rotación de IPs, respeto a robots.txt) y puedes aportar visualizaciones o reportes opcionales, mejor todavía. Espero tus preguntas para arrancar de inmediato.