Data Engineering Pipeline
Budget: $10 – $30 USD
mohon bantuannya dalam membuat simulasi data engineering pipeline dengan menggunakan data terbuka dengan minimal 2 sumber data. Data pipeline terdiri dari komponen, Extract, Transform, dan Load. Dari proses tersebut, kemudian Anda diminta untuk menganalisis insight yang didapatkan.
Kriteria:
- Terdapat proses ETL: terutama bagian kompleksitas dari proses transformasi.
- Analisis atau solusi dari insight yang ditemukan, menggunakan tools seperti visualisasi dan lainnya.
untuk detail lainnya seperti ini kak:
- untuk sumber datanya diambil dari scraping minimal 2 source (bukan ready to use kyk ucl dll).
- Transform misalnya mendeteksi dan menangani data-data yang hilang, meningkatkan konsistensi, melakukan normalisasi, dsb.
- Load ke database baru (bisa csv), selanjutnya mencari insight berdasarkan data tersebut (EDA).
- Untuk library tidak ada batasan ya kak, intinya terdapat proses ETL dalam memproses minimal 2 data (scraping) yg nantinya dapat saling berhubungan dan memiliki insight
- mohon dibantu juga diberi penjelasannya kak
Kriteria:
- Terdapat proses ETL: terutama bagian kompleksitas dari proses transformasi.
- Analisis atau solusi dari insight yang ditemukan, menggunakan tools seperti visualisasi dan lainnya.
untuk detail lainnya seperti ini kak:
- untuk sumber datanya diambil dari scraping minimal 2 source (bukan ready to use kyk ucl dll).
- Transform misalnya mendeteksi dan menangani data-data yang hilang, meningkatkan konsistensi, melakukan normalisasi, dsb.
- Load ke database baru (bisa csv), selanjutnya mencari insight berdasarkan data tersebut (EDA).
- Untuk library tidak ada batasan ya kak, intinya terdapat proses ETL dalam memproses minimal 2 data (scraping) yg nantinya dapat saling berhubungan dan memiliki insight
- mohon dibantu juga diberi penjelasannya kak