Apa yang dilakukan para pencipta arsitektur Transformer Google sekarang?
Google mungkin tidak memiliki awal terbaik untuk perlombaan AI generatif. Saat ini sedang mengikuti OpenAI. Tapi tahukah Anda OpenAI harus berterima kasih kepada Google atas keberhasilannya? Tanpa arsitektur Transformer Google, perlombaan AI ini mungkin tidak akan terjadi. Makalah keluaran tahun 2017 yang disusun oleh beberapa ilmuwan Google Brain adalah awal dari arsitektur Transformer. Apa yang dilakukan para ilmuwan ini sekarang?
Makalah tentang arsitektur Transformer ditulis oleh 8 orang
"Attention Is All You Need" adalah nama makalah yang mengubah penelitian dan pengembangan AI. Makalah ini ditulis oleh Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszekoreit, Lilian Jones, Aidan N. Gomez, Lukasz Kaiser, dan Illia Polosukhin. Sebagian besar penulis ini tidak bekerja di Google lagi saat ini. Bahkan, tujuh dari mereka keluar dari perusahaan tersebut.
Vaswani dan Parmar mendirikan Adept AI Labs
Vaswani adalah salah satu otak utama di balik arsitektur Transformer. Lulusan dari University of South Carolina, dia adalah seorang ilmuwan penelitian staf di Google Brain dari 2016 hingga 2021. Pada tahun 2021, dia keluar dari Google untuk memulai Adept AI Labs, sebuah perusahaan penelitian pembelajaran mesin dan produk lab. Niki Parmar, satu-satunya wanita di tim Transformer, dan bergabung dengan Vaswani dalam memulai Adept.
Mereka meninggalkan Adpet dan mendirikan start-up dalam mode siluman
Adept telah mengumpulkan uang lebih dari $400 juta sejauh ini. Perusahaan ini bernilai lebih dari $1 miliar. Vaswani adalah kepala ilmuwan, sedangkan Parmar adalah kepala petugas teknologi. Menariknya, tak satu pun dari mereka bersama yang berada di satu perusahaan yang sama sekarang. Keduanya keluar dari Adept pada November 2022. Pada bulan Desember, mereka bersama-sama mendirikan perusahaan rintisan. Namun, kami tidak tahu banyak tentang itu.
Shazeer ikut mendirikan Character.AI bersama insinyur Google lainnya
Seperti Vaswani dan Parmar, Shazeer juga meninggalkan Google pada tahun 2021. Dia bekerja di perusahaan tersebut selama lebih dari dua dekade. Pada tahun 2021, dia mendirikan Character.AI bersama sesama mantan insinyur Google Daniel De Freitas. Perusahaan telah mengumpulkan sekitar $ 200 juta sejauh ini. Perusahaan ini memiliki sekitar 20 karyawan. Character.AI adalah aplikasi web chatbot yang didukung oleh model bahasa saraf.
Uszkoreit ikut mendirikan perusahaan yang mengerjakan perangkat lunak biologis
Uszekoreit dianggap oleh banyak orang sebagai orang dibalik penemuan/penciptaan arsitektur Transformer. Dia juga meninggalkan Google pada tahun 2021 setelah menghabiskan lebih dari 13 tahun di perusahaan tersebut. Pada Juli 2021, dia ikut mendirikan Inceptive, sebuah perusahaan yang merancang molekul RNA generasi berikutnya dengan jaring saraf. Perusahaan tersebut telah mengumpulkan $ 20 juta sejauh ini.
Jones masih bertahan di Google
Jones adalah satu-satunya dari delapan penulis makalah yang masih bekerja di Google. Dia adalah orang di balik judul makalah itu. Gomez meninggalkan Google pada 2019. Di tahun yang sama, dia mendirikan Cohere, sebuah perusahaan yang menyediakan akses ke alat LLM dan NLP melalui API. Cohere telah mengumpulkan sekitar $ 400 juta sejauh ini. Gomez juga merupakan CEO Cohere.
Polosukhin ikut mendirikan Protokol NEAR saingan Ethereum
Kaiser meninggalkan Google pada tahun 2021 untuk bergabung dengan saingannya OpenAI. Dia adalah salah satu pencipta bersama TensorFlow, platform Machine Learning dengan sumber terbuka Google. Polosukhin meninggalkan Google pada tahun yang sama ketika makalah itu diterbitkan (2017). Dia ikut mendirikan NEAR Protocol, sebuah blockchain berkinerja tinggi, pada tahun 2017. Perusahaan tersebut saat ini bernilai $ 2 miliar dan telah mengumpulkan uang senilai $ 375 juta.
