Model Difusi Laten Adalah? Cara Hemat Daya Membuat Gambar AI di Ruang Representasi
Model difusi laten (latent diffusion model) adalah jenis model generatif yang menjalankan proses difusi bukan langsung pada piksel gambar, melainkan pada ruang representasi laten (latent space) yang dimensinya lebih kecil. Gambar terlebih dahulu dimampatkan oleh sebuah autoencoder, lalu proses penambahan dan penghapusan derau (noise) berlangsung di ruang laten tersebut sebelum hasilnya diterjemahkan kembali menjadi gambar. Pendekatan ini membuat pelatihan dan pembuatan gambar lebih cepat serta lebih hemat sumber daya, dan menjadi dasar sistem seperti Stable Diffusion.
Konsep dan mekanisme
Model difusi konvensional bekerja langsung pada setiap piksel, sehingga mahal secara komputasi. Model difusi laten memisahkan pekerjaan menjadi dua bagian: pemampatan dan proses difusi.
| Tahap | Komponen | Fungsi |
|---|---|---|
| 1. Pengodean | Encoder (autoencoder variansional) | Memetakan gambar asli ke ruang laten yang lebih kecil |
| 2. Difusi | Jaringan difusi | Menambah lalu menghapus derau pada representasi laten |
| 3. Dekode | Decoder | Mengubah representasi laten kembali menjadi gambar |
Representasi laten
Data asli dipetakan ke ruang laten berdimensi lebih kecil, biasanya melalui autoencoder variansional (VAE) atau model pengode serupa. Ruang ini menyimpan informasi semantik secara lebih ringkas, sehingga data yang diproses pada tahap difusi berukuran jauh lebih kecil dibandingkan gambar penuh.
Proses difusi di ruang laten
Prinsip dasarnya tetap mengikuti model difusi probabilistik:
- Proses maju (forward): derau Gaussian ditambahkan secara bertahap pada representasi laten, bukan pada piksel langsung, hingga data mendekati derau murni.
- Proses balik (reverse): sebuah jaringan saraf mempelajari cara menghapus derau selangkah demi selangkah, lalu representasi laten yang sudah pulih didekode kembali menjadi gambar.
Pemisahan ini menjadikan proses generatif lebih modular, karena pengodean dan dekodean berdiri terpisah dari proses difusi.
Efisiensi dan keunggulan
Bekerja pada representasi laten dapat mengurangi ukuran data yang diproses hingga beberapa kali lipat dibandingkan bekerja langsung pada piksel. Pengurangan ini berdampak pada:
- Pelatihan lebih cepat: jumlah dimensi yang diproses lebih kecil pada setiap langkah.
- Inferensi lebih ringan: model dapat dijalankan pada perangkat dengan sumber daya terbatas.
- Manipulasi lebih mudah: informasi semantik yang ringkas memudahkan pengaturan atribut tertentu pada gambar sintetis.
Dibandingkan pendekatan generatif lain yang sering menghadapi ketidakstabilan pelatihan, model difusi laten menawarkan proses optimasi yang relatif lebih stabil dan distribusi keluaran yang lebih terkendali. Proses penurunan fungsi kerugian tetap mengandalkan backpropagation.
Difusi laten dibanding difusi piksel
| Aspek | Difusi laten | Difusi langsung pada piksel |
|---|---|---|
| Ruang proses | Ruang laten yang dimampatkan | Seluruh piksel gambar |
| Kebutuhan memori | Lebih rendah | Lebih tinggi |
| Kecepatan pelatihan | Lebih cepat | Lebih lambat |
| Kualitas gambar | Tetap tinggi bila encoder baik | Tinggi, tetapi mahal |
| Cocok untuk | Perangkat umum dan konsumen | Infrastruktur berdaya besar |
Penerapan dan perkembangan
Model difusi laten telah menjadi fondasi bagi sistem generatif yang banyak digunakan, terutama pembangkitan citra berdasarkan deskripsi teks. Pola ini mengikuti pendekatan multimodal yang memetakan teks ke ruang representasi yang terkoordinasi dengan representasi gambar.
Selain pembuatan gambar, pendekatan ini mulai diterapkan pada:
- Rekonstruksi 3D dan pemodelan spasial.
- Sintesis audio dan pemrosesan sinyal.
- Pemrosesan citra medis dan pemodelan ilmiah.
- Pembuatan data sintetis untuk simulasi.
Tantangan dan kritik
Meski menawarkan efisiensi, model ini tetap memiliki keterbatasan:
- Kehilangan informasi: jika kualitas autoencoder tidak optimal, sebagian detail dapat hilang saat pemampatan.
- Kecepatan relatif: proses generatif masih dapat lebih lambat dibanding metode satu langkah pada arsitektur tertentu.
- Isu etika: gambar sintetis yang sulit dibedakan dari gambar nyata berisiko disalahgunakan untuk misinformasi. Berbagai penelitian mengusulkan watermarking laten dan pedoman penggunaan untuk menekan risiko tersebut.
FAQ
Apa itu model difusi laten?
Model generatif yang menjalankan proses difusi pada ruang laten hasil pemampatan, bukan pada piksel langsung, sehingga lebih hemat sumber daya saat membuat gambar baru.
Apa peran autoencoder pada model ini?
Autoencoder mengubah gambar asli menjadi representasi laten yang lebih kecil (encoder) dan menerjemahkan hasil difusi kembali menjadi gambar (decoder). Proses difusi berlangsung di antara keduanya.
Mengapa model difusi laten lebih hemat daya?
Karena jaringan difusi memproses representasi laten yang dimensinya jauh lebih kecil daripada seluruh piksel gambar, sehingga kebutuhan memori dan biaya komputasi menurun.
Apakah model ini sama dengan Stable Diffusion?
Stable Diffusion adalah salah satu sistem yang menggunakan model difusi laten sebagai fondasinya. Jadi, Stable Diffusion merupakan penerapan dari pendekatan ini, bukan nama teknik yang sama secara umum.
Apa kekurangan model difusi laten?
Kualitasnya bergantung pada autoencoder; bila pemampatan kurang baik, detail dapat hilang. Selain itu ada perhatian pada penyalahgunaan gambar sintetis, yang dijawab antara lain melalui watermarking.
Ringkasan
- Model difusi laten bekerja di ruang laten, bukan langsung pada piksel.
- Autoencoder memampatkan dan menerjemahkan kembali gambar, sementara difusi berjalan di ruang tengah.
- Pendekatan ini lebih hemat memori dan lebih cepat dibanding difusi piksel.
- Model ini menjadi dasar sistem pembuatan gambar dari teks seperti Stable Diffusion.
- Tantangan utamanya meliputi kehilangan detail, kecepatan relatif, dan risiko penyalahgunaan.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free