Integrar rotación de proxies Python -- 2
Budget: $10 – $30 USD
Tengo un programa de scraping escrito en Python y necesito añadirle una capa de rotación de proxies para evitar bloqueos y mejorar la tasa de éxito.
Qué requiero:
• Que el código utilice proxies rotatorios de forma transparente para el resto del script.
• Configuración flexible: quiero poder decidir si se rota por petición, por tiempo o por lote de URLs, según lo que recomiendes como mejor práctica.
• Asesoría para elegir y conectar la fuente de proxies; no he definido si usaré un servicio pago, una generación automática o una lista propia, así que necesito tu orientación y la adaptación del código a la opción que seleccionemos.
• Entrega del código modificado, instrucciones de uso y breve documentación de cómo ampliar o cambiar la lista de proxies en el futuro.
Trabajo con Python 3; la solución puede apoyarse en requests, Scrapy u otra librería que consideres adecuada mientras mantenga el rendimiento actual del scraper. Aprecio comentarios claros en el código y un pequeño README que explique los pasos para ponerlo en marcha.
si se puede usar proxys gratuitos mejor
Qué requiero:
• Que el código utilice proxies rotatorios de forma transparente para el resto del script.
• Configuración flexible: quiero poder decidir si se rota por petición, por tiempo o por lote de URLs, según lo que recomiendes como mejor práctica.
• Asesoría para elegir y conectar la fuente de proxies; no he definido si usaré un servicio pago, una generación automática o una lista propia, así que necesito tu orientación y la adaptación del código a la opción que seleccionemos.
• Entrega del código modificado, instrucciones de uso y breve documentación de cómo ampliar o cambiar la lista de proxies en el futuro.
Trabajo con Python 3; la solución puede apoyarse en requests, Scrapy u otra librería que consideres adecuada mientras mantenga el rendimiento actual del scraper. Aprecio comentarios claros en el código y un pequeño README que explique los pasos para ponerlo en marcha.
si se puede usar proxys gratuitos mejor
Related categories:
Python
Data Processing
Web Scraping
Software Architecture
Scrapy
Data Scraping
API
Documentation
Automation
API Integration