Cerebras menciptakan prosesor siap AI terbesar di dunia dengan 850.000 core
Apa ceritanya
Sebuah perusahaan Amerika yang berpusat pada kecerdasan buatan (AI) bernama Cerebras Systems mengklaim telah membangun satu prosesor seukuran iPad yang dapat mencapai komputasi yang setara dengan otak manusia atau setara dengan 100 triliun sinapsis. Perusahaan ini juga mengklaim bahwa Cerebras Wafer Scale Engine-2 (WSE-2) ini adalah chip terbesar yang pernah dibuat. Inilah semua yang harus Anda ketahui tentangnya.
Statistik
Prosesor ini terdiri dari 2,6 triliun transistor
WSE-2 Cerebras adalah prosesor tunggal berdasarkan teknologi proses tujuh nanometer TSMC yang mengusung 2,6 triliun transistor untuk membangun 850.000 core yang dioptimalkan AI yang dipasang pada area permukaan sebesar 46.225 milimeter persegi. Chip itu sendiri memiliki 40 GB memori SRAM onboard dengan bandwidth memori 20 petabyte/detik untuk berinteraksi dengan 2,4 petabyte memori off-chip untuk perhitungan.
Kemampuan seperti otak
Komputer dapat memproses model AI dengan lebih dari 120 triliun parameter
Unit prosesor absolut ini ditempatkan di dalam komputer khusus yang disebut Cerebras CS-2. Komputer ini dengan mudah menempati seluruh rak server. Prosesor tersebut dapat mempersingkat pekerjaan model AI kompleks dengan 120 triliun parameter. Bagi yang belum tahu, parameter adalah blok algoritma pembelajaran mesin yang merangkum apa yang telah dipelajari mesin dari data yang digunakan untuk melatihnya.
CEO bicara
Penjelasan CEO Cerebras Andrew Feldman tentang pentingnya WSE-2
Menjelaskan pentingnya prosesor ini kepada VentureBeat, CEO dan pendiri Cerebras Andrew Feldman mengatakan, "Jaringan yang lebih besar, seperti GPT-3 (Microsoft), telah mengubah lanskap pemrosesan bahasa alami (NLP), memungkinkan apa yang sebelumnya tidak terbayangkan". "Industri ini bergerak melewati model ... triliun-parameter, dan kami memperluas batas itu dua kali lipat, memungkinkan jaringan saraf setara otak dengan 120 triliun parameter," tambahnya.
Prosesor murni
Prosesor raksasa terbuat dari batangan silikon tunggal
Ratusan prosesor komputasi desktop konvensional dipotong dari batangan silikon berdiameter 12 inci di pengecoran chip seperti TSMC. Prosesor WSE-2 baru adalah satu prosesor yang terbuat dari satu batangan. Ini lebih efisien daripada mendistribusikan beban kerja komputasi secara efektif di antara beberapa prosesor workstation konvensional yang lebih kecil. Masalah dibantu oleh inovasi teknologi sisi perangkat lunak baru dari Cerebras.
Bantuan
Teknologi terkait Cerebras membantu WSE-2 bekerja secara optimal
Weight Streaming, arsitektur eksekusi perangkat lunak, membantu peneliti mengalirkan parameter model AI ke chip dari memori off-die yang terhubung tanpa latensi dan masalah bandwidth memori. Hal ini memungkinkan peneliti untuk menggunakan antara satu dan 192 komputer CS-2 dengan mulus. Ini terkait dengan teknologi MemoryX Cerebras yang membantu 2,4 petabyte data streaming penyimpanan off-chip ke prosesor secara efisien.
Batasan
Namun, setiap Cerebras CS-2 tidak dapat ditingkatkan dengan mudah
Tom's Hardware mencatat bahwa sementara para peneliti dapat menjalankan beberapa komputer CS-2 bersama-sama, meningkatkan kemampuan komputer CS-2 yang ada hampir tidak mungkin. Ini karena prosesor raksasa tersebut mengambil daya 15 kW dari catu daya khusus. Prosesor ini juga membutuhkan solusi pendinginan khusus, sehingga menyulitkan untuk menjejalkan chip berukuran wafer lain ke dalam satu komputer.
Sebagai perbandingan
WSE-2 Cerebras dapat menghitung sebanyak otak manusia
Cerebras didirikan pada tahun 2016 dan mempekerjakan 350+ orang. Dibandingkan dengan chip Cerebras, Google melatih model parameter 1,6 triliun pada bulan Januari. Sistem Cerebras Feldman dapat menangani 1.000 kali lebih banyak data dengan daya 1.000 kali lebih banyak daripada sistem Google. Sementara WSE-2 dapat menangani 100 triliun sinapsis seperti manusia, pada tahun 2020, Intel menjejalkan 768 "chip otak" Loihi untuk menyaingi otak tikus tanah.