Skrypt do pobierania danych ze stron

2 strony

Wymagania:
- Aplikacja działająca na serwerze (AWS, OVH, Digitalocean itp…)
- Możliwość konfiguracji i dodawania kolejnych stron
- Zapisywanie wyników do bazy danych (aktualizacja rekordów przy ponownym pobieraniu)
- Proxy i inne metody mechanizmów wykrywania
- Statystyki i logi
- Możliwość pobierania danych jako zalogowany użytkowników, przechowywania plików cookies
- Możliwość ustawienia harmonogramu uruchamiania pobierania

Przykład działania:
- Dodaje lub zmieniam w pliku .csv listę adresów URL
- W aplikacji wprowadzam elementy do pobierania
- Ustawiam harmonogram pobierania danych
- Aplikacja rozpoczyna pracę zgodnie z harmonogramem ( godzina/dzień/tydzień/miesiąc )