Crawler 500 sites de leilões
Budget: $250 – $750 USD
Preciso de uma aplicação capaz de varrer aproximadamente 500 sites de leiloeiros e extrair, diariamente, os preços e ofertas publicados. Meu objetivo é acompanhar variações de valor e condições em tempo quase real, gerando um arquivo consolidado que eu possa tratar depois em outras ferramentas de análise.
Eu fornecerei uma planilha base contendo:
• A lista completa dos domínios a serem monitorados
• Os campos extras que desejo capturar em cada página (descrição do item, data e hora do leilão, nome do vendedor, entre outros)
O que espero da entrega:
1. Crawler/web-scraper funcional que percorra todos os endereços e colete as informações especificadas.
2. Atualização diária automática, com opção de ajuste futuro para outros intervalos.
3. Saída em formato CSV ou JSON, organizada exatamente conforme a planilha de referência.
4. Código comentado e documentado, pronto para rodar em ambiente Linux.
5. Relatório breve explicando arquitetura, bibliotecas utilizadas e instruções de implantação.
Sinta-se livre para empregar Python, Scrapy, Selenium, Playwright ou técnicas de IA que agilizem identificação de padrões ou bloqueios. O importante é garantir estabilidade, capacidade de lidar com CAPTCHAs ou paginações complexas e facilidade de manutenção.
Se já tiver exemplos de trabalhos semelhantes, mencione. Estou disponível para esclarecer dúvidas e testar entregas parciais ao longo do desenvolvimento.
Eu fornecerei uma planilha base contendo:
• A lista completa dos domínios a serem monitorados
• Os campos extras que desejo capturar em cada página (descrição do item, data e hora do leilão, nome do vendedor, entre outros)
O que espero da entrega:
1. Crawler/web-scraper funcional que percorra todos os endereços e colete as informações especificadas.
2. Atualização diária automática, com opção de ajuste futuro para outros intervalos.
3. Saída em formato CSV ou JSON, organizada exatamente conforme a planilha de referência.
4. Código comentado e documentado, pronto para rodar em ambiente Linux.
5. Relatório breve explicando arquitetura, bibliotecas utilizadas e instruções de implantação.
Sinta-se livre para empregar Python, Scrapy, Selenium, Playwright ou técnicas de IA que agilizem identificação de padrões ou bloqueios. O importante é garantir estabilidade, capacidade de lidar com CAPTCHAs ou paginações complexas e facilidade de manutenção.
Se já tiver exemplos de trabalhos semelhantes, mencione. Estou disponível para esclarecer dúvidas e testar entregas parciais ao longo do desenvolvimento.