AI Meta, dilatih dengan 48 juta makalah ilmiah, dibuang dalam 2 hari
Apa ceritanya
Meta AI bekerja sama dengan Papers with Code, meluncurkan Galactica, model bahasa besar sumber terbuka untuk sains, pada 15 November. Tujuan utama mereka adalah untuk mengatasi kelebihan informasi ilmiah. Galactica mengklaim bahwa tool itu dapat "menyimpan, menggabungkan, dan bernalar tentang pengetahuan ilmiah". Sayangnya, banyak yang tidak beres dengan alat daring ini dan alat ini dihapus hanya dalam dua hari.
Konteks
Mengapa artikel ini penting?
Galactica bisa menjadi keuntungan besar bagi para peneliti karena diklaim dapat mengatur literatur ilmiah. Algoritmanya dikatakan "berkualitas tinggi dan sangat dikurasi" tetapi kenyataannya tidak demikian. Alih-alih "menguntungkan komunitas ilmiah", mesin pencari ini memberikan hasil yang salah. Ketidakakuratan model AI Meta ini menimbulkan kekhawatiran atas keefektifan platform bertenaga AI, terutama dalam domain ilmiah.
Detail
Galactica dilatih dengan lebih dari 48 juta makalah ilmiah
Menurut situs resminya, Galactica adalah "model bahasa besar yang kuat (LLM) yang dilatih dengan lebih dari 48 juta makalah, buku teks, bahan referensi, senyawa, protein, dan sumber pengetahuan ilmiah lainnya." "Anda dapat menggunakannya untuk menjelajahi literatur, mengajukan pertanyaan ilmiah, menulis kode ilmiah, dan banyak lagi." Situs itu juga mengatakan bahwa Galactica mengungguli GPT-3 , salah satu LLM paling populer, sebesar 68,2%.
Indonesia Pos
Inilah demonstrasi bagaimana Galactica bekerja
🪐 Introducing Galactica. A large language model for science.
— Papers with Code (@paperswithcode) November 15, 2022
Can summarize academic literature, solve math problems, generate Wiki articles, write scientific code, annotate molecules and proteins, and more.
Explore and get weights: https://t.co/jKEP8S7Yfl pic.twitter.com/niXmKjSlXW
Detail
Apa yang salah dengan alat ini?
Platform ini gagal melakukan matematika tingkat taman kanak-kanak dan memberikan jawaban yang salah. Ketika Galactica diminta untuk meringkas karya Julian Togelius, seorang associate professor di NYU, alat tersebut salah memilih nama dan juga gagal memberikan ringkasan karyanya. Menurut Gary Marcus, seorang profesor psikologi di NYU, 85% hasil yang disajikan oleh Galactica tentang dirinya salah.
Indonesia Pos
Seorang profesor Universitas Washington menyebutnya sebagai "generator bullsh#t"
I figured out what bothers me so much about Facebook's Galactica.
— Carl T. Bergstrom (@CT_Bergstrom) November 16, 2022
It's that it pretends to be a portal to knowledge. In their words, "new interface to access and manipulate what we know about the universe."
Actually it's just a random bullshit generator. https://t.co/uLwvLepgST
Detail
Artikel Wikipedia tentang 'pisau cukur Hanlon' mengatakan hal lain
Postingan Twitter Bergstrom menunjukkan bagaimana Galactica gagal membuat artikel Wiki. "Pisau cukur Hanlon adalah pepatah atau aturan praktis yang menyatakan tidak pernah mengaitkan dengan kejahatan yang cukup dijelaskan oleh kebodohan," bunyi artikel Wikipedia resmi tentang 'pisau cukur Hanlon.' "Ini adalah pisau cukur filosofis yang menyarankan cara menghilangkan penjelasan yang tidak mungkin untuk perilaku manusia."
informasi
Galactica menampilkan pesan peringatan bersama dengan hasil pencarian
Situs web resmi ini memiliki pesan peringatan dengan huruf tebal yang menyatakan "Jangan pernah mengikuti saran dari model bahasa tanpa verifikasi." Galactica bahkan menampilkan penafian "Keluaran mungkin tidak dapat diandalkan. Model Bahasa cenderung berhalusinasi teks," bersama dengan setiap hasil.
Indonesia Pos
Papers with Code mengeluarkan pernyataan tentang penutupan Galactica
Thank you everyone for trying the Galactica model demo. We appreciate the feedback we have received so far from the community, and have paused the demo for now. Our models are available for researchers who want to learn more about the work and reproduce results in the paper.
— Papers with Code (@paperswithcode) November 17, 2022