Sistem Cerebra Ini meluncurkan superkomputer baru minggu ini dalam bentuk Andromeda. 13,5 juta superkomputer bertenaga AI, kini tersedia untuk pekerjaan bisnis dan akademik. Dilengkapi dengan lebih dari 13,5 juta core komputasi dioptimalkan untuk AI Didukung oleh 18.176 prosesor AMD EPYC generasi ketiga (1,6 kali jumlah inti superkomputer terbesar di dunia). Andromeda memberikan penskalaan yang hampir sempurna melalui paralelisme data sederhana di seluruh model bahasa kelas GPT besar, termasuk GPT-3, GPT-J, dan GPT-NeoX, tidak seperti stack berbasis GPU yang dikenal.
Andromeda Diterapkan di Santa Clara, CA, 16 rak di Colovore, pusat data berkinerja tinggi terkemuka. 16 sistem CS-2, dengan 13,5 juta inti yang dioptimalkan AI, didukung oleh 284 prosesor AMD Generasi ke-3. SwarmX fabric, yang menghubungkan solusi penyimpanan parameter MemoryX ke 16 CS-2, menyediakan bandwidth lebih dari 96,8 TB.
“Penskalaan yang hampir sempurna berarti bahwa dengan penggunaan CS-2 tambahan, waktu pelatihan dikurangi dengan rasio yang hampir sempurna. Ini melibatkan model bahasa besar dengan panjang urutan yang sangat besar, yang merupakan tugas yang tidak mungkin dicapai pada GPU. Faktanya , pekerjaan yang mustahil telah didemonstrasikan untuk sebuah CPU Graphics oleh salah satu pengguna Andromeda pertama, mencapai penskalaan yang hampir sempurna pada GPT-J pada 2,5 miliar dan 25 miliar parameter dengan panjang urutan panjang – MSL 10240. Pengguna mencoba melakukan pekerjaan yang sama pada Polaris, rentang Nvidia A100 2000, GPU tidak dapat melakukan pekerjaan karena kapasitas memori GPU dan keterbatasan bandwidth memori.”
Andromeda
“Penskalaan Andromeda yang hampir sempurna di seluruh paradigma pemrosesan bahasa alami terbesar dimungkinkan oleh Mesin Skala Wafer Cerebras generasi kedua (WSE-2), prosesor terbesar dan terkuat di industri, dan oleh MemoryX dan Swarm X dari Cerebras. teknologi.
MemoryX memungkinkan hingga satu CS-2 untuk mendukung model dengan triliunan parameter. Teknologi SwarmX menghubungkan MemoryX ke sekelompok CS-2. Bersama-sama, teknologi terdepan di industri ini memungkinkan klaster Cerebras yang besar untuk menghindari dua tantangan utama yang mengganggu klaster tradisional yang digunakan dalam bisnis AI modern: kompleksitas pemrograman paralel dan penurunan kinerja komputasi terdistribusi. “
Superkomputer kecerdasan buatan
“16 CS-2 yang menggerakkan Andromeda beroperasi dalam mode paralel data yang ketat, memungkinkan distribusi model yang sederhana dan mudah, penskalaan tombol tunggal dari 1 hingga 16 CS-2. Bahkan, fungsi AI dapat dikirim ke Andromeda dengan cepat dan tanpa kesulitan dari Jupyter notebook.” Pengguna dapat beralih dari satu bentuk ke bentuk lainnya hanya dengan beberapa penekanan tombol.
16 Andromeda CS-2 dikompilasi hanya dalam 3 hari, tanpa perubahan kode, dan segera setelah itu beban kerja diskalakan secara linier di seluruh 16 sistem. Dan karena prosesor Cerebras WSE-2, yang merupakan inti dari CS-2, memiliki bandwidth memori 1.000 kali lebih besar dari GPU, Andromeda dapat memanen hamburan terstruktur dan tidak terstruktur serta hamburan statis dan dinamis. Ini adalah hal-hal yang tidak dapat dilakukan oleh akselerator perangkat keras lain, termasuk GPU. Hasilnya adalah Cerebras dapat melatih model lebih dari 90% untuk akurasi edge.”
- Laboratorium Nasional Argonne: “Bekerja sama dengan peneliti Cerebras, tim kami di Argonne telah menyelesaikan pekerjaan terobosan pada sakelar genetik–pekerjaan yang merupakan finalis Penghargaan Khusus ACM Gordon Bell untuk Penelitian COVID-19 berbasis HPC. Menggunakan GPT3-XL, kami mengumpulkan seluruh genom COVID-19 Pada jendela pengurutan, Andromeda menangkap beban kerja genetiknya yang unik dengan panjang urutan yang panjang (MSL 10 k) melintasi 1, 2, 4, 8, dan 16 node, dengan penskalaan linier yang nyaris sempurna. Penskalaan linear adalah salah satu karakteristik ansambel besar yang paling diinginkan, dan Cerebras telah menyediakan Andromeda memberikan throughput 15,87X di 16 sistem CS-2, dibandingkan dengan sistem CS-2 tunggal, dan mengurangi waktu yang sesuai untuk pelatihan. Andromeda menetapkan cara baru benchmark kinerja untuk akselerator AI, kata Rick Stevens, Associate Laboratory Director, Argonne National Laboratory.
- JasperAI: “Jasper menggunakan model bahasa besar untuk menulis salinan untuk pemasaran, iklan, buku, dan lainnya. Kami memiliki lebih dari 85.000 pelanggan yang menggunakan model kami untuk membuat konten dan ide animasi. Dengan basis pelanggan kami yang besar dan terus berkembang, kami menjelajahi pengujian dan pengukuran model yang sesuai dengan setiap pelanggan dan kasus penggunaannya. Membangun sistem AI membutuhkan Kami senang dapat bermitra dengan Cerebras dan memanfaatkan kinerja dan penskalaan Andromeda yang hampir sempurna tanpa komputasi terdistribusi tradisional dan kerumitan pemrograman paralel untuk merancang dan meningkatkan rangkaian model kami berikutnya ,” kata Dave Rogenmoeser, CEO JasperAI.
- AMD: “AMD berinvestasi dalam teknologi yang akan membuka jalan bagi penyebaran kecerdasan buatan, membuka efisiensi baru dan kemampuan ketangkasan untuk bisnis,” kata Kumaran Siva, Corporate Vice President: Software and Systems Business Development, AMD.
- University of Cambridge: “Sangat menyenangkan bahwa Cerebras memberi mahasiswa pascasarjana akses gratis ke koleksi sebesar ini. Andromeda menghasilkan 13,5 juta kernel AI dan penskalaan linier yang hampir sempurna di seluruh model bahasa terbesar, tanpa kesulitan komputasi terdistribusi dan pemrograman paralel .” ujar Mateo Espinosa, kandidat Ph.D. di Cambridge University University of Cambridge di Inggris, “Ini adalah impian setiap mahasiswa pascasarjana ML.”
Sumber: Sistem Cerebra
Diarsipkan di bawah: Berita Teknologi, Berita Teratas
Penawaran gadget culun terbaru
penyingkapan: Beberapa artikel kami menyertakan tautan afiliasi. Jika Anda membeli sesuatu melalui salah satu tautan ini, Geeky Gadgets dapat memperoleh komisi afiliasi. Belajarlah lagi.