Stack para data lakehouse on-premise - 31/07/2024 11:50 EDT

Job ID: 38404256

Budget: $30 – $250 USD

Preciso do desenvolvimento de uma stack contendo os seguintes serviços: PostgreSQL, Debezium, Kafka Connect, MinIO, Apache Hive, Apache Iceberg, Apache Airflow, Trino e Superset. Todos essas tecnologias rodando de forma individual em containers docker, orquestrado pelo docker swarm, com gestão pelo Portainer e com um caso de uso totalmente funcional, onde o dado nascido no PostgreSQL, seja ingerido num bucket no MinIO via Debezium/kafka connect, sendo mapeado no catalogo do Hive em tabela iceberg, podendo ser consultado pelo Apache Superset via Trino.
Related categories: Linux Ubuntu Docker