Lewati ke konten
Daftar
  • Jenjang 2 · Climb Up Skills
  • Kredensial terverifikasi

Pipeline Data Siap-AI: dari Sumber Mentah ke Gudang Data

Bangun pipeline yang mengambil data dari beberapa sumber, membersihkannya, memeriksa kualitasnya, lalu menyajikannya ke gudang data dan ke aplikasi AI. Karya Anda dinilai dari apakah datanya bisa dipercaya, bukan dari banyaknya alat yang dipakai.

Solvera AI & Technology AcademyBahasa Indonesia · terbit 14 Oktober 2026

Ringkasan

Untuk siapa • Analis data atau developer yang ingin beralih menjadi data engineer. • Engineer yang sering diminta "siapkan datanya untuk AI" dan ingin melakukannya dengan benar. • Lulusan informatika atau statistika yang sudah lancar SQL. Yang akan Anda bangun Pipeline ELT untuk satu kasus bisnis (misalnya penjualan dan pelanggan toko daring) dari minimal tiga sumber berbeda: API, berkas CSV, dan basis data operasional. Hasilnya berupa model gudang data berlapis, pemeriksaan kualitas data otomatis, dan satu keluaran siap-AI berupa potongan teks dengan metadata untuk sistem RAG. Setelah kelas ini Anda mampu • Merancang lapisan data (mentah, bersih, siap pakai) dan model dimensional. • Menulis transformasi SQL yang teruji dan terdokumentasi. • Menjadwalkan dan memantau pipeline, termasuk pemuatan ulang yang aman (idempoten). • Menetapkan dan menegakkan aturan kualitas data. • Menyiapkan data tak terstruktur untuk aplikasi AI: pembersihan, potongan, dan metadata. Prasyarat • Lancar SQL: JOIN, GROUP BY, window function dasar. • Python dasar untuk skrip pengambilan data. • Docker terpasang di laptop (panduan instalasi disediakan). Cara belajar Belajar mandiri sesuai waktu Anda, sekitar 40 jam termasuk mengerjakan karya. Tidak ada jadwal sesi langsung. Karya dikerjakan dalam empat tahap (kerangka, draf, revisi, final), dan setiap tahap direview oleh reviewer bernama yang memberi umpan balik tertulis. Rubrik penilaian bisa Anda baca sebelum mulai mengerjakan. Kredensial Lulus tahap final dengan skor berbobot minimal 70% akan memberi Anda kredensial Terverifikasi Exelern dengan halaman verifikasi publik. Halaman itu memuat karya Anda, nama reviewer, dan rubrik yang dipakai, sehingga pemberi kerja bisa memeriksanya sendiri.

Yang Anda dapatkan

  • 9 materi yang bisa dibuka kapan saja
  • Karya 4 tahap, tiap tahap dibalas reviewer bernama
  • Kredensial yang bisa diperiksa siapa pun tanpa login, bila karya Anda lulus

Skill yang diajarkan

Kelas ini berada di Jenjang 2 · Climb Up Skills: karyanya mengandaikan Anda pernah membuat sesuatu di bidang ini.

Karya & rubrik

Kelas ini ditutup dengan karya yang dinilai reviewer bernama memakai rubrik di bawah — rubrik yang sama persis dengan yang dipakai menilai pekerjaan Anda nanti.

  1. 1Kerangka
  2. 2Draf
  3. 3Revisi
  4. 4Final

  1. Pipeline ELT tiga sumber dengan pemeriksaan kualitas data dan keluaran siap-AI

    Bangun pipeline untuk satu kasus bisnis dengan minimal tiga sumber data (API, berkas, dan basis data). Muat ke gudang data berlapis, tegakkan aturan kualitas, dan hasilkan satu keluaran siap-AI. Dataset publik atau dataset sintetis yang realistis boleh dipakai; dataset contoh disediakan bagi yang belum punya. Tahapan pengerjaan • Kerangka: Kasus bisnis, daftar sumber beserta contoh datanya, diagram lapisan data, rancangan model dimensional, dan daftar aturan kualitas data. • Draf: Pipeline berjalan ujung ke ujung untuk dua sumber, transformasi utama selesai, dan jadwal berjalan. • Revisi: Ketiga sumber masuk, pemeriksaan kualitas otomatis aktif, pemuatan ulang terbukti idempoten, dan umpan balik reviewer ditindaklanjuti. • Final: Keluaran siap-AI, dokumentasi lineage data, dan demo satu insiden kualitas data yang tertangkap oleh pemeriksaan Anda.

    Yang diserahkan: Tautan repositori Git (docker compose untuk menjalankan semuanya), diagram arsitektur dan lineage, laporan kualitas data, serta video demo maksimal 5 menit.

    Kriteria penilaian

    Lulus mulai 70%
    • Ketepatan pemodelan databobot 25% · skor 0–4

      Model gudang data menjawab kebutuhan bisnis yang ditetapkan; grain tabel jelas dan konsisten.

    • Keandalan pipelinebobot 25% · skor 0–4

      Pipeline idempoten, bisa dijalankan ulang tanpa duplikasi, dan kegagalan terlihat (tidak diam-diam).

    • Kualitas databobot 25% · skor 0–4

      Aturan kualitas bermakna, diuji otomatis, dan data buruk dikarantina alih-alih diloloskan.

    • Kesiapan untuk AIbobot 15% · skor 0–4

      Keluaran untuk aplikasi AI bersih, berpotongan masuk akal, dan membawa metadata yang dibutuhkan.

    • Dokumentasi dan reprodusibilitasbobot 10% · skor 0–4

      Orang lain bisa menjalankan pipeline dari README; lineage terdokumentasi.

Lihat bagaimana kredensial diperiksa

Silabus

Isi materi terbuka setelah Anda terdaftar.

  1. 1Peran data engineer di tim AI: yang berubah dan yang tidakTeks
  2. 2ETL vs ELT dan arsitektur lapisan dataTeks
  3. 3Mengambil data dari API, berkas, dan basis data operasionalTeks
  4. 4Pemodelan dimensional untuk gudang dataTeks
  5. 5Transformasi SQL yang teruji dengan dbtTeks
  6. 6Orkestrasi dan penjadwalan dengan AirflowTeks
  7. 7Kualitas data: aturan, pemeriksaan otomatis, dan karantinaTeks
  8. 8Data siap-AI: dokumen, potongan teks, metadata, dan pipeline RAGTeks
  9. 9Pengenalan streaming: kapan Kafka benar-benar dibutuhkanTeks

Pengajar

Solvera AI & Technology Academy terverifikasi

Tim pengajar Solvera untuk kelas teknologi, AI, data, dan keuangan di Exelern. Setiap kelas ditutup dengan karya nyata yang dinilai reviewer memakai rubrik terbuka, bukan kuis pilihan ganda.

  • AI generatif
  • Rekayasa perangkat lunak
  • Data dan analitik
  • Cloud dan keamanan siber
  • Keuangan dan akuntansi
Profil lengkap

Pertanyaan yang sering diajukan

Bagaimana karya saya dinilai?
Reviewer bernama memberi skor per kriteria memakai rubrik di bagian Karya & rubrik — rubrik yang sama dengan yang dipakai menilai Anda nanti. Anda lulus bila skor berbobotnya mencapai 70%. Kredensial terbit hanya bila karya final Anda lulus, dan memuat karya, rubrik, serta nama penilainya.
Apakah ada tenggat pengerjaan?
Tidak. Kelas mandiri dimulai kapan saja. Karya dikerjakan bertahap — kerangka, draf, revisi, final — dan setiap tahap dibalas reviewer sebelum Anda lanjut.
Bisakah kantor saya membiayai kelas ini?
Bisa. Panduan klaim biaya ke kantor memuat templat email ke atasan dan bukti yang biasanya diminta: bukti pembayaran dan tautan kredensial yang bisa diperiksa tanpa login.
Apa beda kredensial Exelern dengan sertifikat kehadiran?
Kredensial hanya terbit dari karya yang lulus review, bukan dari jam tayang. Siapa pun bisa memeriksa keabsahannya di halaman verifikasi, lengkap dengan karya, rubrik, dan penilainya.

Untuk tim

Kelas yang sama untuk satu orang, satu tim, atau satu angkatan khusus organisasi Anda.

  • Klaim ke kantor

    Templat email ke atasan dan bukti yang biasanya diminta bagian keuangan.

    Buka panduan

  • Daftarkan tim

    Beberapa orang di kelas ini, dengan kredensial yang bisa Anda periksa satu per satu.

    Ceritakan kebutuhan tim

  • Angkatan privat

    Satu angkatan khusus organisasi Anda, dengan karya yang disesuaikan pekerjaan tim.

    Ajukan angkatan privat

Kelas terkait