Google baru saja memperkenalkan anggota terbaru dari keluarga model raya bahasa (LLM) “terbuka” mereka, yakni Gemma 3 270M. Model ini, dengan 270 juta parameter dan kebutuhan memori sekitar 550MB, dirancang khusus untuk implementasi pada perangkat (on-device deployment) dan iterasi model yang cepat.
Meskipun demikian, seperti LLM pada umumnya, model ini tetap memiliki potensi untuk menghasilkan halusinasi, output yang kurang akurat, dan kemungkinan isu hak cipta dari data pelatihannya.
Gemma AI Family
Keluarga dari Model AI Gemma pertama kali diluncurkan pada Februari 2024. Saat itu, Google menawarkan dua varian: versi dua miliar parameter untuk eksekusi di CPU dan versi tujuh miliar parameter yang lebih mumpuni untuk sistem dengan akselerator berbasis GPU atau TPU. Meskipun diposisikan sebagai model “terbuka” – berlawanan dengan keluarga Gemini yang merupakan properti Google – model-model ini, sama seperti kebanyakan model “terbuka” pesaing lainnya, tidak menyertakan kode sumber maupun data pelatihannya. Hanya model pra-terlatih dan bobot (weights) yang tersedia, sebuah praktik yang juga berlaku untuk Gemma 3 270M ini.
Yang Baru di Gemma 270M
Model baru yang lebih kecil ini dioptimalkan untuk penggunaan on-device dan mampu berjalan hanya dengan 550MB RAM. Google menyatakan bahwa Gemma 3 270M sangat ideal untuk tugas-tugas “bervolume tinggi, terdefinisi dengan baik” atau ketika “setiap milidetik dan mikro-sen sangat berharga.” Keunggulan lainnya adalah kemampuannya untuk fine-tuning dengan cepat, yang memfasilitasi pembuatan “armada model tugas khusus” secara efisien.
- Performa Kompetitif: Berdasarkan benchmarking internal yang belum terverifikasi, Google mengklaim Gemma 3 270M mengungguli model seukuran seperti SmollLM2-360M-Instruct dan Qwen 2.5 0.5B Instruct pada benchmark kepatuhan instruksi IFEval. Namun, performanya jauh di bawah Gemma 3 1B yang empat kali lebih besar, dengan skor 51.2 berbanding 80.2.
- Efisiensi Energi: Google menekankan efisiensi energi Gemma 3 270M. Ketika dikuantisasi ke presisi INT4 (dengan checkpoint QAT yang sudah disediakan, dan janji dampak performa minimal dibandingkan INT8), pengujian internal Google yang belum terverifikasi menunjukkan penurunan baterai sebesar 0,75 persen poin untuk 25 percakapan (panjang tidak disebutkan) saat dijalankan di smartphone Pixel 9 Pro. Ini adalah benefit yang nyata buat user yang concern sama daya tahan baterai.
Dataset Pelatihan yang Besar
Meskipun modelnya lebih kecil dari saudaranya, dataset pelatihannya tidak demikian. Gemma 3 270M mencakup sebaran materi yang serupa dengan model yang lebih besar, termasuk dokumen web, kode sumber, teks matematika, dan gambar. Menariknya, model dengan 270 juta parameter ini dilatih dengan enam triliun token, tiga kali lebih banyak dari versi 1B-parameter dan satu setengah kali lebih banyak dari model 4B-parameter. Hanya model 12 miliar dan 27 miliar parameter yang mengalahkannya, masing-masing dengan 12 triliun dan 14 triliun token. Semua model Gemma 3 memiliki “tanggal cut-off pengetahuan” hingga Agustus 2024, artinya informasi yang lebih baru harus diberikan kepada model melalui fine-tuning atau sebagai bagian dari prompt.
Kesimpulan
Seperti model Gemma yang lebih besar sebelumnya, model ringkas ini tersedia secara gratis. Namun, ada serangkaian batasan penggunaan yang tercantum dalam kebijakan penggunaan terlarang Google. Pelanggaran terhadap batasan ini dapat menyebabkan Google “memiliki hak untuk membatasi (dari jarak jauh atau sebaliknya) penggunaan Layanan Gemma apa pun yang diyakini Google secara wajar melanggar.”
- Poin-poin Penting Batasan:
- Larangan membuat konten yang melanggar hak individu atau entitas.
- Larangan melakukan “aktivitas berbahaya, ilegal, atau jahat.”
- Larangan praktik kedokteran dan akuntansi tanpa lisensi.
- Larangan pembuatan atau distribusi spam.
- Kontroversi mencakup “upaya untuk mengesampingkan atau mengakali filter keamanan” dan pembuatan “konten eksplisit seksual,” meskipun ada pengecualian untuk “konten yang dibuat untuk tujuan ilmiah, pendidikan, dokumenter, atau artistik.” Ini agak tricky ya, jadi kudu hati-hati.
Bagi mereka yang tertarik untuk mencoba model terbaru di “Gemmaverse” ini, dapat menemukannya di Hugging Face, Ollama, Kaggle, LM Studio, dan Docker. Google juga telah merilis panduan untuk melakukan fine-tuning pada model ini.