CRIAR UMA APLICAÇÃO - BUSCA DE "HASH TAG"
Budget: $30 – $250 USD
Implemente uma solução que:
1. Consiga buscar tweets com uma determinada “HashTag”, por exemplo, covid19.
2. Armazenar os resultados em formato Parquet
3. Criar um datalake para que seja possível consolidar dados analíticos por hashtag e posteriormente consultar informações coletadas de forma batch / online.
Recomendamos a utilização das seguintes tecnologias:
• Spark – Para extração, escrita e consolidação
• Airflow – Orquestração do processamento
• Docker / Compose – Para deploy da aplicação
1. Consiga buscar tweets com uma determinada “HashTag”, por exemplo, covid19.
2. Armazenar os resultados em formato Parquet
3. Criar um datalake para que seja possível consolidar dados analíticos por hashtag e posteriormente consultar informações coletadas de forma batch / online.
Recomendamos a utilização das seguintes tecnologias:
• Spark – Para extração, escrita e consolidação
• Airflow – Orquestração do processamento
• Docker / Compose – Para deploy da aplicação