Elon Musk tidak mahu Tesla hanya menjadi pengeluar kenderaan. Beliau ingin Tesla menjadi syarikat AI, yang telah berjaya membuat kereta memandu sendiri.
Kunci kepada misi itu adalah Dojo, superkomputer yang dibina khas oleh Tesla untuk melatih rangkaian neural Full Self-Driving (FSD) mereka. FSD sebenarnya tidak sepenuhnya mengemudi sendiri; ia dapat melakukan beberapa tugas memandu secara automatik, tetapi masih memerlukan manusia yang peka di belakang roda. Namun, Tesla percaya dengan lebih banyak data, lebih banyak kuasa pengiraan dan latihan, mereka dapat melangkah dari hampir memandu sendiri ke sepenuhnya memandu sendiri.
Dan di sinilah Dojo berperanan.
Musk telah mengumumkan tentang Dojo untuk seketika, tetapi pengarah syarikat tersebut telah meningkatkan perbincangan mengenai superkomputer itu sepanjang tahun 2024. Kepentingan Dojo kepada Tesla mungkin berkaitan dengan kelangsungan hidup syarikat – dengan penjualan kenderaan elektrik yang menurun, pelabur ingin mendapatkan jaminan bahawa Tesla mampu mencapai autonomi. Berikut adalah garis masa penyebutan dan janji Dojo.
2019
Penyebutan Pertama Dojo
22 April – Pada Hari Autonomi Tesla, pengeluar kenderaan itu membawa pasukan AI mereka ke pentas untuk berbincang mengenai Autopilot dan Full Self-Driving, serta AI yang menggerakkannya. Syarikat itu berkongsi informasi tentang cip yang dibina khas oleh Tesla yang direka khusus untuk rangkaian neural dan kereta yang memandu sendiri.
Semasa acara tersebut, Musk merujuk kepada Dojo, mendedahkan bahawa ia adalah superkomputer untuk latihan AI. Beliau juga menyatakan bahawa semua kereta Tesla yang dihasilkan pada zaman itu akan mempunyai semua perkakasan yang diperlukan untuk memandu secara penuh dan hanya memerlukan kemas kini perisian.
2020
Musk memulakan roadshow Dojo
2 Februari – Musk berkata Tesla akan segera mempunyai lebih daripada satu juta kenderaan yang disambungkan di seluruh dunia dengan sensor dan pengiraan yang diperlukan untuk memandu sepenuhnya – dan beliau memuji keupayaan Dojo.
“Dojo, superkomputer latihan kami, akan dapat memproses jumlah besar data latihan video & menjalankan array hyperspace dengan efisien dengan bilangan parameter yang besar, banyak memori & jalur lebar ultra-tinggi antara teras. Lebih lanjut mengenai ini kemudian.”
14 Ogos – Musk mengulangi rancangan Tesla untuk membangunkan komputer latihan rangkaian neural yang dipanggil Dojo “untuk memproses jumlah data video yang benar-benar besar,” memanggilnya “sebuah raksasa.” Beliau juga berkata versi pertama Dojo adalah “sekitar setahun lagi,” yang akan menjadikan bTarikh pelancaran di sekitar Ogos 2021.
31 Disember — Elon berkata Dojo tidak diperlukan, tetapi ia akan meningkatkan kemandirian memandu. “Ia tidak mencukupi untuk lebih selamat daripada pemandu manusia, Autopilot pada akhirnya perlu lebih dari 10 kali lebih selamat daripada pemandu manusia.”
2021
Tesla mengesahkan Dojo secara rasmi
19 Ogos – Pengeluar kenderaan itu mengumumkan Dojo secara rasmi pada Hari AI pertama Tesla, sebuah acara yang bertujuan menarik jurutera ke dalam pasukan AI Tesla. Tesla juga memperkenalkan cip D1 mereka, yang di mana pengeluar berkata mereka akan gunakan – bersama dengan GPU Nvidia – untuk memberi kuasa kepada superkomputer Dojo. Tesla menyatakan kluster AI mereka akan mengandungi 3,000 cip D1.
12 Oktober – Tesla mengeluarkan kertas putih Dojo Technology, “sebuah panduan kepada format dan aritmetik titik terapung yang boleh disesuaikan oleh Tesla.” Kertas putih itu memberi gambaran mengenai piawaian teknikal untuk jenis aritmetik titik terapung binaan baru yang digunakan dalam rangkaian neural pembelajaran mendalam dan boleh dilaksanakan “penuh dalam perisian, penuh dalam perkakasan, atau dalam sebarang gabungan perisian dan perkakasan.”
2022
Tesla mendedahkan kemajuan Dojo
12 Ogos – Musk berkata Tesla akan “melaksanakan Dojo secara berperingkat. Tidak akan perlu membeli sebanyak GPU tambahan tahun depan.”
30 September – Pada Hari AI kedua Tesla, syarikat mendedahkan bahawa ia telah memasang kabinet Dojo pertama, menguji beban 2.2 megawatt. Tesla berkata mereka sedang membina satu jubin setiap hari (yang terdiri daripada 25 cip D1). Tesla mendemonstrasikan Dojo di pentas yang menjalankan model Stable Diffusion untuk mencipta imej yang dihasilkan AI mengenai “Cybertruck di Mars.”
Penting, syarikat menetapkan tarikh sasaran untuk menyelesaikan seluruh cluster Exapod menjelang Q1 2023, dan menyatakan pelan mereka untuk membina tujuh Exapod di Palo Alto.
2023
‘Sebuah ‘pertaruhan jangka panjang’
19 April – Musk memberitahu pelabur semasa pengumuman keputusan suku pertama Tesla bahawa Dojo “mempunyai potensi untuk penambahbaikan yang besar dalam kos latihan,” dan juga “mempunyai potensi untuk menjadi perkhidmatan boleh dijual yang kami tawarkan kepada syarikat lain dalam cara yang sama seperti Amazon Web Services menawarkan perkhidmatan web.”
Musk juga menyatakan bahawa beliau “melihat Dojo sebagai sejenis pertaruhan jangka panjang,” tetapi “pertaruhan yang berbaloi untuk dilakukan.”
21 Jun — Akaun Tesla AI X menyatakan bahawa rangkaian neural syarikat sudah terdapat dalam kenderaan pelanggan. Thread tersebut termasuk graf dengan garis masa kuasa pengiraan Tesla sekarang dan yang dijadualkan, yang meletakkan permulaan pengeluaran Dojo pada Julai 2023, walaupun tidak jelas sama ada ini merujuk kepada cip D1 atau superkomputer itu sendiri. Musk berkata pada hari yang sama bahawa Dojo sudah berada dalam talian dan menjalankan tugas di pusat data Tesla.
Syarikat juga meramalkan bahawa pengiraan Tesla akan berada di lima teratas di seluruh dunia menjelang sekitar Februari 2024 (tiada petunjuk bahawa ini berjaya) dan bahawa Tesla akan mencapai 100 exaflops menjelang Oktober 2024.
19 Julai – Tesla menyatakan dalam laporan pendapatan suku kedua bahawa mereka telah memulakan pengeluaran Dojo. Musk juga berkata Tesla merancang untuk membelanjakan lebih daripada $1 bilion untuk Dojo melalui 2024.
6 September – Musk menyiarkan di X bahawa Tesla terhad oleh pengiraan latihan AI, tetapi Nvidia dan Dojo akan menyelesaikannya. Beliau menyatakan bahawa mengurus data dari sekitar 160 bilion bingkai video yang diterima Tesla dari kereta mereka setiap hari adalah sangat sukar.
2024
Pelan untuk skala
24 Januari – Semasa panggilan keputusan suku keempat dan keseluruhan tahun Tesla, Musk mengakui sekali lagi bahawa Dojo adalah projek berisiko tinggi dan berpotensi tinggi. Beliau juga berkata bahawa Tesla sedang mengejar “jalan dua hala Nvidia dan Dojo,” bahawa “Dojo sedang berfungsi,” dan sedang “melaksanakan tugas latihan.” Beliau mencatat bahawa Tesla sedang meningkatkan kapasiti dan mempunyai “rancangan untuk Dojo 1.5, Dojo 2, Dojo 3 dan sebagainya.”
26 Januari – Tesla mengumumkan rancangan untuk membelanjakan $500 juta untuk membina superkomputer Dojo di Buffalo. Musk kemudiannya menurunkan sedikit pelaburan tersebut, menyiarkan di X bahawa walaupun $500 juta adalah jumlah yang besar, ia adalah “hanya setara dengan sistem 10k H100 dari Nvidia. Tesla akan membelanjakan lebih daripada itu untuk perkakasan Nvidia tahun ini. Taruhan untuk bersaing dalam AI kini sekurang-kurangnya beberapa bilion dolar setiap tahun.”
30 April – Di Simposium Teknologi Utara Amerika TSMC, syarikat menyatakan bahawa jubin latihan generasi seterusnya Dojo — D2, yang meletakkan keseluruhan jubin Dojo pada satu wafer silikon, bukannya menyambungkan 25 cip untuk membuat satu jubin — sudah dalam pengeluaran, menurut IEEE Spectrum.
20 Mei – Musk menyatakan bahawa bahagian belakang pengembangan kilang Giga Texas akan merangkumi pembinaan “sebuah kluster superkomputer yang padat dan didinginkan oleh air.”
4 Jun – Laporan CNBC mendedahkan Musk mengalihkan ribuan cip Nvidia yang diperuntukkan untuk Tesla kepada X dan xAI. Setelah pada mulanya menyatakan bahawa laporan itu adalah palsu, Musk menyiarkan di X bahawa Tesla tidak mempunyai lokasi untuk menghantar cip Nvidia untuk dihidupkan, akibat pembinaan berterusan pada pengembangan selatan Giga Texas, “jadi cip tersebut hanya akan terperangkap di dalam gudang.” Beliau menyatakan pengembangan itu akan “menampung 50k H100 untuk latihan FSD.”
Beliau juga menyiarkan:
“Daripada kira-kira $10B dalam perbelanjaan berkaitan AI yang saya katakan Tesla akan belanjakan tahun ini, kira-kira separuh adalah dalaman, terutamanya komputer inferens AI yang direka oleh Tesla dan sensor yang terdapat dalam semua kereta kami, ditambah Dojo. Untuk membina superkluster latihan AI, perkakasan NVidia menyumbang kira-kira 2/3 daripada kos. Anggaran terbaik saya untuk pembelian Nvidia oleh Tesla adalah $3B hingga $4B tahun ini.”
1 Julai – Musk mendedahkan di X bahawa kenderaan Tesla terkini mungkin tidak mempunyai perkakasan yang betul untuk model AI generasi seterusnya syarikat. Beliau berkata bahawa peningkatan kiraan parameter yang kira-kira 5x dengan AI generasi seterusnya “sangat sukar untuk dicapai tanpa meningkatkan komputer inferens kenderaan.”
Cabaran bekalan Nvidia
23 Julai – Pada panggilan keputusan suku kedua Tesla, Musk berkata permintaan untuk perkakasan Nvidia adalah “sangat tinggi sehingga sering sukar untuk mendapatkan GPU.”
“Saya fikir ini memerlukan kita meletakkan lebih banyak usaha pada Dojo untuk memastikan kita mempunyai keupayaan latihan yang kita perlukan,” kata Musk. “Dan kami memang melihat jalan untuk bersaing dengan Nvidia dengan Dojo.”
Sebuah graf dalam dek pelabur Tesla meramalkan bahawa kapasiti latihan AI Tesla akan meningkat kepada kira-kira 90,000 GPU setaraf H100 menjelang akhir 2024, meningkat daripada sekitar 40,000 pada bulan Jun. Kemudian pada hari itu, di X, Musk memposting bahawa Dojo 1 akan mempunyai “kira-kira 8k setara H100 latihan dalam talian menjelang akhir tahun.” Beliau juga memposting gambar superkomputer itu, yang nampaknya menggunakan exterior keluli tahan karat yang sama seperti Cybertrucks Tesla.
XXX
30 Julai – AI5 ialah ~18 bulan lagi dari pengeluaran tinggi, kata Musk dalam jawapan kepada pos dari seseorang yang mendakwa ingin memulakan kelab “pemilik Tesla HW4/AI4 yang marah kerana ditinggalkan apabila AI5 keluar.”
3 Ogos – Musk menyiarkan di X bahawa beliau telah membuat lawatan “ke kluster pengiraan super Tesla di Giga Texas (juga dikenali sebagai Cortex).” Beliau menyatakan bahawa ia akan dibina daripada kira-kira 100,000 GPU Nvidia H100/H200 dengan “ruang penyimpanan besar untuk latihan video FSD & Optimus.”
