[Python] Обработать файлы CSV, получить JSON по URL и записать ответы

Job ID: 33714464

Budget: $15 – $25 USD

Есть несколько задач, которые нужно обрабатывать на Python'e, возможно с применением Pandas (но не обязательно).

1) сматчить несколько CSV (один столбец) в один файл
2) убрать дубликаты внутри файла
3) убрать из результата те строки, которые содержатся в CSV файле исключений (файлов может быть два и более). В каждом файле может быть более 10k строк.
4) сходить по URL с каждым значением из полученного файла и загрузить результат JSON. Он может быть пустой, с одним ответом или с несколькими ответами
5) в одном столбце JSON будет параметр brand. Нужно будет загрузить отдельный CSV со словарем брендов, в котором на разные написания брендов указаны каноническое написание. Типа "найк — nike", "нике — nike". Заменить в файле с результатами из пункта 4 все brand на канонические из CSV.
6) удалить результаты с "мусорными" брендами. Список таких брендов будет так же в отдельном CSV
7) загрузить CSV со списком брендов, для каждого из которого есть параметр. Для примера — "доступен" или "не доступен". Разделить результат пункта 5 на два файла — в одном будут все, что "доступен", во втором остальные. Сохранить результаты и в JSON, и в CSV

Тестовый набор данных дам, URL тоже дам.
Related categories: Python Pandas