Sambutlah LLaMA: Model bahasa besar dari Meta untuk peneliti AI generatif
Apa ceritanya
Meta telah mengikuti ChatGPT Open AI dan Bard Google ke dalam pertarungan teknologi berbasis AI generatif.
Model bahasa baru perusahaan, LLaMA, sedang memanaskan perlombaan senjata AI.
Aplikasi itu telah dipasarkan sebagai alternatif yang lebih bertanggung jawab untuk AI chatbots dari aliansi Microsoft-OpenAI dan Google.
LLaMA telah dirilis di bawah lisensi nonkomersial "untuk menjaga integritas dan mencegah penyalahgunaan."
#1
Apa itu LLaMA?
Menurut Meta, LLaMA (Large Language Model Meta AI) adalah "model bahasa besar dasar dengan 65 miliar parameter".
Aplikasi ini telah dikembangkan untuk mendukung para peneliti di bidang AI, dan memecahkan masalah terkait model bahasa AI.
LLaMA adalah model "lebih kecil, dan lebih berkinerja" yang akan memungkinkan komunitas riset yang tidak memiliki akses infrastruktur dalam jumlah besar untuk mempelajari model AI, menurut klaim blog resmi Meta.
#2
Model ini menggunakan daya komputasi yang "jauh lebih sedikit" daripada LLM lainnya
LLaMA menggunakan sekumpulan kata sebagai input dan memprediksi kata berikutnya untuk membuat teks secara rekursif - mirip dengan Model Bahasa Besar lainnya.
Biasanya, Model Bahasa Besar menambang sejumlah besar teks untuk tujuan meringkas informasi dan membuat konten.
Namun, Meta's LLaMA mengkonsumsi daya komputasi yang "jauh lebih sedikit" daripada solusi sebelumnya.
Fitur ini bisa mengungguli pesaing yang memperhitungkan lebih banyak parameter atau variabel.
#3
Model LLaMa dengan parameter 13 miliar dapat mengalahkan GPT-3
LLaMA adalah sekumpulan model bahasa dasar dengan parameter 7B, 13B, 33B, dan 65B.
Model LLaMA 65B dan 33B dilatih dengan 1,4 triliun token, sedangkan model LLaMA 7B, dilatih dengan satu triliun token.
Secara khusus, LLaMA 13B dapat mengungguli Open AI's GPT-3 (175B) dengan ukuran sepuluh kali lebih kecil.
Model 65B LLaMA sebanding dengan Chinchilla70B DeepMind dan model PaLM-540B Google.