Axelera Technologies baru-baru ini meluncurkan modul AI Metis M2, sebuah perangkat keras yang dirancang khusus untuk mempercepat pemrosesan model bahasa besar (LLM) dan model visi bahasa (VLM).
Modul ini menunjukkan peningkatan kinerja yang signifikan dibandingkan dengan solusi AI tradisional, menawarkan kecepatan pemrosesan dua kali lipat untuk LLM dan VLM, serta efisiensi energi yang lebih baik. Keunggulan ini didorong oleh arsitektur unik Metis, yang menggabungkan kekuatan pemrosesan tensor dengan kemampuan pemrosesan grafik yang sangat efisien, memungkinkan pemrosesan data yang lebih cepat dan lebih hemat energi untuk tugas-tugas AI yang kompleks.
Metis M2 dibangun dengan tujuan utama untuk mengatasi tantangan yang dihadapi oleh pengembang dan perusahaan yang bekerja dengan LLM dan VLM. Model-model ini, seperti GPT-3, LaMDA, dan DALL-E 2, membutuhkan sumber daya komputasi yang sangat besar untuk pelatihan dan inferensi. Secara tradisional, menjalankan model-model ini membutuhkan GPU kelas atas, yang mahal, boros energi, dan seringkali sulit untuk diakses oleh sebagian besar organisasi. Metis M2 menawarkan alternatif yang lebih terjangkau dan efisien, memungkinkan perusahaan dan pengembang untuk memanfaatkan kekuatan AI tanpa harus berinvestasi dalam infrastruktur komputasi yang mahal.
Inti dari Metis M2 adalah arsitektur yang disebut ‘TensorFlow-on-Chip‘ yang dirancang khusus. Arsitektur ini memungkinkan pemrosesan data yang sangat paralel, yang merupakan kunci untuk mempercepat pelatihan dan inferensi LLM dan VLM. Modul ini menggunakan unit pemrosesan tensor (TPU) yang dioptimalkan untuk melakukan operasi matriks yang mendasar, yang merupakan operasi utama dalam LLM dan VLM. Selain TPU, Metis M2 juga dilengkapi dengan unit pemrosesan grafik (GPU) yang dioptimalkan untuk tugas-tugas komputasi yang lebih umum, seperti pemrosesan gambar dan video. Dengan menggabungkan kekuatan TPU dan GPU, Metis M2 dapat menangani berbagai macam tugas AI dengan efisiensi dan kinerja yang luar biasa.
Salah satu fitur paling menarik dari Metis M2 adalah kemampuannya untuk melakukan inferensi LLM dan VLM secara lokal, tanpa memerlukan koneksi ke cloud. Ini sangat penting untuk aplikasi yang membutuhkan latensi rendah, seperti robotika, kendaraan otonom, dan perangkat tertanam. Dengan melakukan inferensi secara lokal, Metis M2 dapat mengurangi ketergantungan pada koneksi jaringan, meningkatkan keamanan, dan melindungi privasi data. Selain itu, kemampuan inferensi lokal juga dapat mengurangi biaya operasional dengan menghilangkan biaya transfer data dan penggunaan sumber daya cloud.
Axelera Technologies telah bekerja sama dengan berbagai mitra untuk mengembangkan dan menguji Metis M2. Salah satu mitra utama adalah Qualcomm, yang telah mengintegrasikan Metis M2 ke dalam platform Snapdragon Spaces, platform AI untuk perangkat seluler dan tertanam. Qualcomm juga telah menggunakan Metis M2 untuk mengembangkan aplikasi AI baru untuk kendaraan otonom, seperti pengenalan objek, deteksi bahaya, dan navigasi.
Selain Qualcomm, Axelera Technologies juga telah bermitra dengan berbagai perusahaan lain, termasuk NVIDIA, Intel, dan Samsung. Kemitraan ini memungkinkan Axelera Technologies untuk memperluas jangkauan pasar dan mempromosikan teknologi Metis M2 ke audiens yang lebih luas.
Performa Metis M2 telah diuji secara ekstensif oleh Axelera Technologies dan mitra-mitranya. Pengujian menunjukkan bahwa Metis M2 dapat mempercepat pelatihan LLM hingga 5x dibandingkan dengan GPU tradisional, dan mempercepat inferensi LLM hingga 2x. Selain itu, Metis M2 juga menunjukkan efisiensi energi yang lebih baik dibandingkan dengan GPU tradisional, mengkonsumsi hingga 70% lebih sedikit energi untuk tugas-tugas yang sama.
Keberhasilan Metis M2 didorong oleh beberapa faktor, termasuk arsitektur unik, kemampuannya untuk melakukan inferensi lokal, dan kemitraan Axelera Technologies dengan perusahaan-perusahaan terkemuka. Modul ini memiliki potensi untuk merevolusi cara kita mengembangkan dan menggunakan LLM dan VLM, membuka peluang baru untuk inovasi dan pertumbuhan di berbagai industri.
Selain Metis M2, Axelera Technologies juga sedang mengerjakan modul AI lainnya, seperti Metis Nano, yang dirancang untuk aplikasi tertanam. Metis Nano lebih kecil dan lebih hemat energi daripada Metis M2, dan cocok untuk digunakan dalam perangkat seperti robot, drone, dan perangkat IoT.
Secara keseluruhan, Metis M2 adalah solusi AI yang menjanjikan yang memiliki potensi untuk mengubah cara kita mengembangkan dan menggunakan LLM dan VLM. Keunggulan kinerja, efisiensi energi, dan kemampuan inferensi lokal membuat modul ini menjadi pilihan yang menarik bagi perusahaan dan pengembang yang ingin memanfaatkan kekuatan AI tanpa harus berinvestasi dalam infrastruktur komputasi yang mahal. Keberhasilan Metis M2 menunjukkan bahwa ada permintaan yang kuat untuk solusi AI yang terjangkau, efisien, dan mudah digunakan.
Sumber: https://axelera.ai/ai-accelerators/metis-m2-ai-acceleration-card