Bagaimana GPT-4 diciptakan dan apa saja batasannya?
Apa ceritanya
OpenAI telah mengokohkan posisinya sebagai pelopor dalam perlombaan AI dengan memperkenalkan GPT-4 (Generative Pre-trained Transformer-4), model bahasa besar (LLM) barunya.
Tidak seperti GPT-3.5, pendahulunya yang hanya berisi teks, GPT-4 memiliki kemampuan multimodal. AI ini dapat menerima teks dan gambar sebagai input.
Melihat dari dekat bagaimana GPT-4 dibuat akan memberi kita wawasan yang lebih baik tentang "sistem paling canggih" OpenAI ini.
_Card_
GPT-4 dilatih dengan korpus data skala web
GPT-4, seperti pendahulunya GPT, GPT-2, dan GPT-3, dilatih menggunakan data yang tersedia di internet. Data tersebut mencakup informasi yang tersedia untuk umum dan data yang dilisensikan oleh OpenAI.
Menurut perusahaan itu, GPT-4 dibuat dengan lebih banyak pengetahuan dan komputasi. 'Makanannya' adalah "korpus data skala web" yang mencakup berbagai ide dan ideologi, pernyataan yang kontradiktif dan konsisten, serta penalaran yang lemah dan kuat.
_Card_
OpenAI menyempurnakan perilaku GPT-4 menggunakan 'pembelajaran penguatan dengan umpan balik manusia'
Dengan jumlah data variabel yang digunakan untuk melatih model ini berarti model tersebut dapat merespons pertanyaan dengan cara yang berbeda. Terkadang, responsnya bisa sangat berbeda dari yang diinginkan pengguna.
Untuk mengatasinya, OpenAI menggunakan 'reinforcement learning with human feedback' (RLHF). Dengan RLHF, perusahaan menyempurnakan perilaku GPT-4 agar selaras dengan maksud pengguna.
_Card_
Lebih dari 50 pakar manusia menyempurnakan kinerja AI ini
OpenAI menggunakan lebih banyak umpan balik manusia daripada sebelumnya untuk meningkatkan perilaku GPT-4. Ini termasuk umpan balik dari pengguna ChatGPT dan lebih dari 50 pakar dalam keselamatan dan keamanan AI.
Untuk melatih model AI dengan umpan balik manusia, OpenAI menggunakan algoritma yang dikembangkan bekerja sama dengan DeepMind. Proses pelatihan melibatkan siklus umpan balik tiga langkah antara manusia, agen AI, dan algoritma RL.
_Card_
Kemampuan tambahan GPT-4 juga meningkatkan risiko yang ditimbulkan oleh model ini
Terlepas dari kemampuan GPT-4, ia memiliki risiko yang sama seperti model sebelumnya, antara lain saran yang berbahaya dan informasi yang tidak akurat.
Namun, kemampuan baru model ini memiliki beberapa risiko tambahan. Untuk mengatasinya, OpenAI memasukkan sinyal hadiah keselamatan tambahan selama pelatihan RLHF.
Karena mitigasi ini, kecenderungan GPT-4 untuk menanggapi konten yang dilarang berkurang sebesar 82%.
_Card_
GPT-4 menderita bias sosial dan halusinasi seperti pendahulunya
GPT-4 adalah sistem AI tercanggih dari OpenAI. Namun, ia mengalami keterbatasan yang sama dengan ChatGPT atau model sebelumnya. Pengguna akan menemukan bias sosial, halusinasi, dan ungkapan permusuhan saat berhadapan dengan GPT-4.