Scrapper coches .net
Budget: €30 – €250 EUR
Necesito realizar un scraper de la página coches.net.
El proceso deberá empezar en una url configurada con los filtros y ordenacion necesarios, y deberá ir recorriendo todas las páginas de resultados almacenando los datos de cada vehículo en una base de datos mysql y las imágenes en el disco local, almacenando las rutas en la misma tabla que los datos.
El scrapper debe recoger datos hasta que llegue a los datos previamente almacenados, momento en el que se detendra. Como los resultados se van a mostrar en la web por fecha de creacion, vamos a entender que si ya existen 3 vehiculos seguidos en la bbdd es que ya ha llegado a los datos registrados anteriormente y por tanto el proceso finalizara.
Debe de estar realizado en python, bien comentado, con metodos de seguridad para no ser detectado como bot, y rotacion de proxies para evitar bloqueos.
Tambien debera de tecoger todas las variables como credenciales, url inicial, configuracion de base de datos... desde un fichero externo de enviroment. (.env)
Se espera que se entregue un fichero zip con el scrapper, librerias necesarias y ficheros de creacion de entorno como el .env y requeriments.txt ( será ejecutado en un venv de python)
El proceso deberá empezar en una url configurada con los filtros y ordenacion necesarios, y deberá ir recorriendo todas las páginas de resultados almacenando los datos de cada vehículo en una base de datos mysql y las imágenes en el disco local, almacenando las rutas en la misma tabla que los datos.
El scrapper debe recoger datos hasta que llegue a los datos previamente almacenados, momento en el que se detendra. Como los resultados se van a mostrar en la web por fecha de creacion, vamos a entender que si ya existen 3 vehiculos seguidos en la bbdd es que ya ha llegado a los datos registrados anteriormente y por tanto el proceso finalizara.
Debe de estar realizado en python, bien comentado, con metodos de seguridad para no ser detectado como bot, y rotacion de proxies para evitar bloqueos.
Tambien debera de tecoger todas las variables como credenciales, url inicial, configuracion de base de datos... desde un fichero externo de enviroment. (.env)
Se espera que se entregue un fichero zip con el scrapper, librerias necesarias y ficheros de creacion de entorno como el .env y requeriments.txt ( será ejecutado en un venv de python)