Optimasi Penyimpanan Big Data Lakehouse

Proyek ini bertujuan melakukan optimasi penyimpanan Big Data berbasis kolumnar pada arsitektur data lakehouse untuk meningkatkan performa analitik pada data transaksi/kejadian berskala besar. Fokus utama adalah merancang tata letak fisik data yang efisien sehingga eksekusi kueri menjadi lebih cepat, lebih stabil, dan membaca data lebih sedikit, tanpa mengorbankan kemampuan ingest/append untuk kebutuhan pemantauan berkala (near real-time).

Pekerjaan dilakukan melalui benchmarking eksperimen terkontrol, yaitu menjalankan dataset yang sama pada beberapa konfigurasi penyimpanan dan membandingkan hasilnya secara objektif. Konfigurasi yang diuji mencakup kombinasi kompresi (mis. Snappy/ZSTD), strategi partisi (berbasis waktu dan/atau dimensi utama), sorting/clustering pada kolom yang sering difilter, serta encoding per kolom. Workload kueri disusun untuk mewakili kebutuhan umum analitik, seperti rekap periodik, agregasi rolling window, pencarian data selektif berbasis ambang, dan drill-down investigatif pada subset dimensi.

Kinerja dievaluasi menggunakan metrik utama: storage footprint, bytes-read/data scanned, latensi kueri p50/p95, throughput ingest/append, serta penggunaan CPU dan RAM, termasuk pengukuran pada kondisi cold-cache dan warm-cache untuk mendapatkan hasil yang adil dan dapat direplikasi. Hasil akhir proyek adalah rekomendasi konfigurasi lakehouse terbaik

Output yang Diharapkan (deliverables)

1.Desain skenario optimasi penyimpanan (bertahap) + parameter konfigurasi.

2.Workload kueri benchmark (template SQL) + prosedur eksekusi yang replikasi.

3.Laporan hasil benchmark: footprint, bytes-read, p50/p95, throughput, CPU/RAM (cold/warm).

4.panduan implementasi.