Meta, yang mengembangkan salah satu model bahasa terbesar dan asas sumber terbuka terbesar, Llama, percaya bahawa ia akan memerlukan lebih banyak kuasa komputer untuk melatih model-model pada masa depan.
Mark Zuckerberg berkata dalam panggilan pendapatan Meta bagi suku kedua pada hari Selasa bahawa untuk melatih Llama 4, syarikat itu akan memerlukan 10 kali lebih banyak komputasi daripada yang diperlukan untuk melatih Llama 3. Tetapi beliau masih ingin Meta membina kapasiti untuk melatih model-model daripada tertinggal dengan pesaingnya.
“Bilangan komputer yang diperlukan untuk melatih Llama 4 kemungkinan akan menjadi hampir 10 kali lebih banyak daripada yang kami gunakan untuk melatih Llama 3, dan model-model masa depan akan terus berkembang melebihi itu,” katanya.
“Sukar untuk meramalkan bagaimana tren ini akan berkembang beberapa generasi pada masa depan. Tetapi pada titik ini, saya lebih suka mengambil risiko membangun kapasiti sebelum diperlukan daripada terlambat, mengingat masa penghasilan projek inferens baru yang panjang.”
Meta mengeluarkan Llama 3 dengan 80 bilion parameter pada bulan April. Syarikat itu minggu lalu mengeluarkan versi yang dikemaskini model itu, yang dipanggil Llama 3.1 405B, yang mempunyai 405 bilion parameter, menjadikannya model sumber terbuka terbesar Meta.
Ketua Pegawai Kewangan Meta, Susan Li, juga berkata syarikat itu sedang memikirkan pelbagai projek pusat data dan membangun kapasiti untuk melatih model AI masa depan. Beliau berkata Meta mengharapkan pelaburan ini akan meningkatkan perbelanjaan modal pada tahun 2025.
Melatih model bahasa besar boleh menjadi perniagaan yang mahal. Perbelanjaan modal Meta meningkat hampir 33% menjadi $8.5 bilion pada suku kedua 2024, dari $6.4 bilion setahun sebelumnya, disebabkan oleh pelaburan dalam pelayan, pusat data dan infrastruktur rangkaian.
Menurut laporan dari The Information, OpenAI menghabiskan $3 bilion untuk melatih model dan tambahan $4 bilion untuk menyewa pelayan dengan kadar diskaun daripada Microsoft.
“Semasa kami menaikkan kapasiti latihan AI generatif untuk memajukan model asas kami, kami akan terus membangun infrastruktur kami dengan cara yang memberikan kami fleksibiliti dalam bagaimana kami menggunakannya dari semasa ke semasa. Ini akan membolehkan kami mengarahkan kapasiti latihan kepada AI gen inference atau kepada kerja penarafan dan cadangan kami, apabila kami menganggap bahawa melakukan demikian akan lebih bernilai,” kata Li semasa panggilan itu.
Semasa panggilan itu, Meta juga membincangkan tentang penggunaan Meta AI yang dihadkan kepada pengguna dan berkata India adalah pasaran terbesar bagi chatbotnya. Tetapi Li mencatat bahawa syarikat itu tidak menjangkakan produk Gen AI akan menyumbang kepada pendapatan secara signifikan.
