Startup pengkomputeran fotonik, Lightmatter, baru-baru ini mengumpulkan dana sebanyak $400 juta untuk mengatasi salah satu masalah utama dalam pusat data moden. Lapisan interkoneksi optik mereka membenarkan ratusan GPU berfungsi secara serentak, menjadikan proses latihan dan pengoperasian model AI lebih lancar dan kurang rumit.
Dengan perkembangan pesat AI dan keperluan pengkomputeran yang besar, industri pusat data semakin berkembang. Namun, menambah ribuan GPU bukanlah penyelesaian mudah. Pakar pengkomputeran berprestasi tinggi telah lama tahu bahawa kelajuan setiap nod dalam superkomputer tidak bererti jika nod tersebut sering tidak aktif menunggu data yang datang.
Lapisan interkoneksi adalah kunci bagi mengubah rak penuh CPU dan GPU menjadi satu mesin besar. Semakin laju interkoneksi, semakin pantas pusat data itu beroperasi. Dan kini, Lightmatter kelihatan mengembangkan lapisan interkoneksi terpantas, menggunakan cip fotonik yang telah mereka kembangkan sejak 2018.
“Jika mereka mahu komputer dengan sejuta nod, hyperscaler tidak boleh bergantung kepada suis Cisco,” kata Nick Harris, CEO dan pengasas syarikat ini kepada TechCrunch. “Bila keluar dari rak, interkoneksi yang padat berubah menjadi lebih perlahan.”
Menurutnya, sistem terkini adalah NVLink, yang menghubungkan 72 unit Nvidia Blackwell dalam sebuah rak, mampu melakukan maksimum 1.4 exaFLOPs pada kehalusan FP4. Namun, semua pengiraan itu perlu melalui 7 terabit rangkaian, yang baginya adalah salah satu penghalang utama untuk meningkatkan prestasi.
“Untuk sejuta GPU, anda perlukan pelbagai lapisan suis, dan itu menambah beban latensi yang besar,” jelas Harris. “Anda perlu beralih dari elektrik ke optik dan kembali; masa dan kuasa yang digunakan adalah sangat besar, terutama dalam kelompok besar.”
Apa yang dibawa oleh Lightmatter? Fiber. Banyak fiber, semuanya disalurkan melalui antara muka optik. Dengan setiap fiber mampu menghantar 1.6 terabit (menggunakan pelbagai warna) dan sehingga 256 fiber bagi setiap cip, ia membuatkan 72 GPU pada 7 terabit kelihatan agak kecil.
“Teknologi fotonik datang lebih cepat daripada yang dijangkakan – banyak orang telah berjuang untuk memaksimalkan penggunaannya selama bertahun-tahun, dan kini kami sudah tiba,” ujar Harris, menambah bahawa mereka telah bekerja keras selama tujuh tahun untuk mencapai tahap ini.
Interkoneksi fotonik yang ditawarkan oleh Lightmatter kini mencapai 30 terabit, sementara kabel optik pada rak mereka membolehkan 1,024 GPU beroperasi serentak. Meskipun angka-angka ini berbeza dengan faktor yang tidak sama, banyak penghubungan yang perlu dilakukan di luar rak dapat dikelola dalam kelompok kecil seribu GPU. Dan angka 100 terabit juga sudah dalam perjalanan.
Harris mencatatkan bahawa pasar untuk teknologi ini sangat besar, dengan setiap syarikat pusat data utama – dari Microsoft hingga Amazon, juga termasuk yang lebih baru seperti xAI dan OpenAI – menunjukkan permintaan yang tidak berkesudahan untuk pengkomputeran. “Mereka menghubungkan seluruh bangunan! Saya tertanya-tanya berapa lama mereka dapat bertahan,” katanya.
Banyak hyperscaler ini sudah menjadi pelanggan, tetapi Harris enggan menyebut nama-nama mereka. “Fikirkan Lightmatter seperti sebuah kilang, seperti TSMC. Kami tidak memilih favoritten dan tidak mengaitkan nama kami kepada jenama orang lain. Kami cuma menyediakan platform untuk membantu mereka berkembang,” ujarnya.
Namun, dia menambah dengan sengaja, “anda tidak mungkin empat kali ganda penilaian anda tanpa memanfaatkan teknologi ini,” mungkin merujuk kepada pusingan pembiayaan terbaru OpenAI yang menilai syarikat itu pada $157 bilion, tetapi mungkin juga mengenai syarikatnya sendiri.
Pusingan D bernilai $400 juta ini menjadikan penilaian syarikat mencapai $4.4 bilion, menggambarkan pelbagai yang sama dengan penilaian pertengahan 2023, menjadikannya syarikat fotonik terbesar. “Jadi itu sangat menarik!” kata Harris. Pusingan ini dipimpin oleh T. Rowe Price Associates, dengan penyertaan pelabur sedia ada seperti Fidelity Management and Research Company dan GV.
Apa langkah seterusnya? Selain interkoneksi, syarikat juga sedang membangunkan substrat baru untuk cip supaya mereka dapat melakukan tugas-tugas jaringan yang lebih intim menggunakan cahaya.
Harris berpendapat bahawa, selain interkoneksi, kuasa bagi setiap cip akan menjadi pembeza besar di masa hadapan. “Dalam sepuluh tahun, anda akan mempunyai cip berskala wafer dari semua orang – tidak ada cara lain untuk meningkatkan prestasi per cip,” katanya. Cerebras tentu saja sudah bekerja dalam hal ini, tetapi masih menjadi tanda tanya sama ada mereka dapat memanfaatkan sepenuhnya kemajuan tersebut pada peringkat teknologi ini.
Namun bagi Harris, ketika melihat industri cip menjelang batas, dia bersedia menunggu untuk langkah seterusnya. “Sepuluh tahun dari sekarang, interkoneksi adalah Undang-Undang Moore,” katanya.