Apa Itu Quantization? Penjelasan Teknik Kuantisasi Model AI

Updated · By Viviai

Quantization (kuantisasi) adalah teknik kompresi model yang menyimpan angka-angka model, termasuk bobot dan aktivasi, dengan lebih sedikit bit, sehingga model menjadi lebih ringan dan berjalan lebih cepat sambil mempertahankan sebagian besar akurasinya. Dalam praktiknya ini sering berarti mengubah bilangan titik-mengambang 16 atau 32 bit menjadi bilangan bulat 8 bit atau 4 bit.

Analogi sederhana

Bayangkan sebuah foto resolusi tinggi berukuran besar. Anda bisa mengecilkannya hingga seperempat ukuran semula, dan saat dilihat di layar ponsel, foto itu tampak hampir sama. Detail halus yang dibuang tidak terasa dalam pemakaian sehari-hari.

Quantization melakukan hal serupa pada model AI. Model besar sebenarnya hanyalah miliaran angka yang telah dipelajari. Jika angka-angka itu dibulatkan ke tangga yang lebih kasar, model menjadi jauh lebih kecil tetapi perilakunya tetap mirip dengan versi aslinya, karena jaringan saraf cukup toleran terhadap nilai yang dibulatkan.

Bit dan presisi

Model yang dilatih dengan cara biasa menyimpan bobot sebagai bilangan titik-mengambang 32 bit, disebut FP32. Format yang lebih rendah memakai lebih sedikit bit:

Format Sifat Peran umum
FP32 Titik-mengambang 32 bit Presisi pelatihan penuh
FP16 / BF16 Titik-mengambang 16 bit Format penyajian yang umum
INT8 Bilangan bulat 8 bit Banyak dipakai, kualitas nyaris penuh
INT4 Bilangan bulat 4 bit Paling kecil, ada sedikit tukar kualitas

Setiap penurunan tingkat kira-kira memangkas separuh memori yang dibutuhkan per nilai. Ini adalah pertukaran yang disengaja: Anda menerima hilangnya sedikit detail numerik demi keuntungan besar pada ukuran, biaya, dan latensi.

Mengapa penting untuk model besar

Model modern berukuran besar. Model dengan puluhan miliar parameter bisa membutuhkan memori lebih besar dari yang disediakan satu akselerator, sehingga lambat atau mahal untuk dijalankan. Tanpa kuantisasi, tim harus membayar memori lebih dan menerima waktu respons yang lebih lama.

Dokumentasi teknis NVIDIA memberi contoh nyata: model Llama 2 7B yang disimpan dalam FP16 membutuhkan sekitar 14 GB memori, dan pemindahan ke FP8 memangkasnya menjadi sekitar 7 GB. Pola yang sama muncul di berbagai keluarga model, itulah sebabnya kuantisasi menjadi langkah standar sebelum dijalankan di ponsel, laptop, dan perangkat tepi.

Bagaimana konversi bekerja

Secara konsep, kuantisasi memetakan rentang angka presisi tinggi ke sekumpulan tingkat bilangan bulat yang lebih kecil. Dua nilai dipakai untuk menggambarkan pemetaan: faktor skala yang mengatur jarak antar tingkat, dan titik nol yang menjadi jangkar. Saat inferensi, perangkat keras melakukan aritmetika bilangan bulat yang cepat, lalu hasilnya dikonversi kembali bila diperlukan.

Ada dua pendekatan utama yang menentukan kapan hal ini terjadi:

Apa yang didapat dan dikorbankan

Aspek Dampak kuantisasi
Ukuran model Lebih kecil, terkadang berkali-kali lipat
Pemakaian memori Lebih rendah, termasuk saat inferensi
Kecepatan Lebih cepat pada perangkat keras yang dioptimalkan untuk matematika presisi rendah
Energi dan biaya Berkurang
Akurasi Biasanya turun sedikit, membesar pada tingkat yang agresif

INT8 sering nyaris tanpa kehilangan kualitas untuk tugas sehari-hari. INT4 membawa perubahan kecil namun terukur, dan mendorong lebih rendah lagi bisa membuat kualitas menurun dengan cepat. Cara paling jujur memilih tingkat adalah mengukur model terkuantisasi terhadap versi aslinya pada tugas Anda sendiri, bukan menganggap satu pengaturan cocok untuk semua keadaan.

Bedanya dengan metode kompresi lain

Kuantisasi adalah salah satu dari beberapa cara membuat model lebih ringan. Pruning menghapus bobot yang kontribusinya kecil, sedangkan distilasi pengetahuan melatih model "murid" yang kecil meniru model "guru" yang besar. Kuantisasi mempertahankan struktur model yang sama tetapi menyajikannya dengan angka yang lebih sederhana, sehingga sering menjadi langkah pertama yang paling mudah dan kerap digabung dengan teknik lainnya.

Pertanyaan umum

Apakah kuantisasi mengubah apa yang model ketahui?

Teknik ini mengubah cara angka disimpan, bukan rancangan keseluruhan model. Model tetap mempertahankan kemampuannya, dengan sedikit tukar akurasi tergantung presisi yang dipilih.

Apakah kuantisasi sama dengan kompresi seperti berkas zip?

Beda. Zip bersifat tanpa kehilangan dan mengembalikan berkas persis seperti aslinya. Kuantisasi benar-benar membulatkan nilai, sehingga sebagian detail dibuang dan akurasi perlu diperiksa.

Apakah model terkuantisasi bisa berjalan di laptop atau ponsel?

Sering kali bisa. Penggunaan memori yang lebih rendah adalah alasan utama model besar dapat berjalan di perangkat konsumen, meski kecepatan tetap bergantung pada perangkat keras dan ukuran model.

Apa perbedaan PTQ dan QAT?

PTQ mengonversi model yang sudah dilatih dan cepat diterapkan. QAT melatih dengan presisi rendah yang disimulasikan dan biasanya menjaga sedikit lebih banyak akurasi dengan usaha tambahan.

Ringkasan

Pelajari lebih lanjut tentang apa itu token dan apa itu embedding.

Sources

  1. https://developer.nvidia.com/blog/model-quantization-concepts-methods-and-why-it-matters/
  2. https://huggingface.co/docs/optimum/en/concept_guides/quantization
  3. https://www.byteplus.com/en/what-is/quantization
  4. https://arxiv.org/pdf/2411.02530

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free