Real-Time Airline Data Scraping
Budget: $250 – $750 USD
Мы ищем разработчика или команду разработчиков с хорошим опытом в парсинге данных для извлечения информации о расписании рейсов и ценах на билеты с сайта авиакомпании. Хотели бы найти разработчиков с Украины для долгосрочного сотрудничества по парсингу данных с различных туристических ресурсов.
Необходимо разработать микросервис на Python для парсинга ресурса по поиску авиабилетов. Микросервис должен предоставлять два метода API:
- Поиск доступных дат для определенных направлений
- Поиск рейсов с ценами по конкретному направлению и дате
Технические требования:
Язык разработки: Python
Формат ответа API: JSON
Архитектура: Микросервис
Способ взаимодействия: REST API
Обработка ошибок: логирование, внятные HTTP-коды ответов
Парсинг: Реализация механизма получения данных с целевого ресурса
Документация API: Swagger или Postman collection
Дополнительно:
- нужно иметь возможность добавить прокси сервер, или массив серверов через который будут идти запросы (user:pass@ip:port)
- логирование (вкл\выкл)
- качественно написанный код, чтобы можно было производить замену сервисов (другие url и css селекты откуда брать данные).
Учитывая меры по борьбе с парсингом на различных сайтах, у вас должен быть опыт внедрения стратегий обхода такой защиты. Проект требует хороших навыков программирования и знакомства с методами парсинга.
Необходимо разработать микросервис на Python для парсинга ресурса по поиску авиабилетов. Микросервис должен предоставлять два метода API:
- Поиск доступных дат для определенных направлений
- Поиск рейсов с ценами по конкретному направлению и дате
Технические требования:
Язык разработки: Python
Формат ответа API: JSON
Архитектура: Микросервис
Способ взаимодействия: REST API
Обработка ошибок: логирование, внятные HTTP-коды ответов
Парсинг: Реализация механизма получения данных с целевого ресурса
Документация API: Swagger или Postman collection
Дополнительно:
- нужно иметь возможность добавить прокси сервер, или массив серверов через который будут идти запросы (user:pass@ip:port)
- логирование (вкл\выкл)
- качественно написанный код, чтобы можно было производить замену сервисов (другие url и css селекты откуда брать данные).
Учитывая меры по борьбе с парсингом на различных сайтах, у вас должен быть опыт внедрения стратегий обхода такой защиты. Проект требует хороших навыков программирования и знакомства с методами парсинга.