Pemikiran tentang Hukum Skala Skala, tapi bukan hanya parameter. Setiap rilis model sekarang berakhir dengan pertanyaan yang sama: berapa banyak parameter? Ini bukan pertanyaan yang bisa dijawab sendiri. Jumlah parameter hanya berarti bersama tiga parameter lainnya — berapa banyak data yang Anda miliki, di mana Anda akan menggunakan komputasi, dan siapa yang akan menjalankan model, dalam kondisi apa. Bidang ini belajar dengan cara yang sulit. Kaplan et al. (2020) cocok dengan eksponen yang menyarankan semua orang untuk mengembangkan parameter lebih cepat dari data — sekitar 2,7:1 — dan industri mematuhi: GPT-3, Gopher, MT-NLG. Hoffmann et al. (2022) melakukan ulang eksperimen di sekitar empat ratus model dan menemukan bahwa pembagian optimal komputasi lebih mendekati 20 token per parameter, dan dengan komputasi yang cukup, keduanya seharusnya tumbuh pada laju yang sama daripada menjauh terpisah. Kesalahan pada kecocokan sebelumnya semakin parah dengan setiap orde besaran komputasi, itulah sebabnya model terbesar dari generasi tersebut paling sering salah alokasi. Putaran triliunan parameter, jika dilihat kembali, adalah jalan memutar yang diambil seluruh bidang secara bersamaan lalu dibalik. Chinchilla juga bukan akhir. Metode ini mengoptimalkan komputasi pelatihan untuk model yang akan dilatih sekali dan dievaluasi. Saat ini sebuah model disebut miliaran kali sehari dan inferensi mendominasi biaya seumur hidup. Masukkan inferensi ke dalam tujuan dan langkah optimal menuju model yang lebih kecil dilatih jauh lebih lama — pelatihan berlebihan yang disengaja, yang dilakukan Llama-2-7B dan Gemma-2-9B pada sekitar 290 dan 889 token per parameter. Sparsity menggerakkan target lagi. Dalam model MoE, dua besaran harus dipisahkan: parameter total mengatur kira-kira seberapa banyak model dapat menampung — pengetahuan, fakta, ekor panjang — sementara parameter yang diaktifkan dan kedalaman efektif mengatur kira-kira seberapa jauh model bisa berpikir, berapa banyak langkah rantai kausal yang dapat dijalani sebelum akhirnya terpecah. Rasio padat 20:1 tidak akan ditransfer. Dan rasio tersebut sama sekali bukan satu angka tunggal: Roberts et al. (2025) menemukan bahwa token optimal per parameter bergantung pada tugas, dengan hafalan lebih mengutamakan lebih banyak parameter dan penalaran lebih memilih lebih banyak data. Penelitian lanjutan tentang MoE mengamati bahwa pada TPP tetap, menaikkan total parameter sebenarnya menurunkan penalaran, sementara mengaktifkan lebih banyak ahli secara andal membantunya. Ini penting untuk apa yang sedang kita bangun. Menemukan kerentanan bukanlah masalah pengambilan. Itu bukan karena menghafal CVE lebih banyak; Ia berasal dari membawa rantai inferensi dua puluh langkah hingga akhir tanpa kehilangan benang merahnya. Kemampuan itu tidak ada dalam total jumlah parameter. Yang membawa kita ke rilis ini. Total parameter tampaknya penting hingga batas tertentu — cukup untuk menampung dunia — setelah itu kemampuan tambahan datang dari skala di tempat lain: kedalaman efektif per operan maju, dan terutama setelah pelatihan. GLM-5.3 adalah eksperimen terkontrol kami atas klaim tersebut. Basis yang sama, arsitektur yang sama, total dan parameter yang diaktifkan sama seperti GLM-5.2. Satu bulan skala lingkungan jangka panjang dan kehidupan nyata. Keuntungan yang diperoleh tidak sebatas batas. Nah, skala memiliki lebih dari satu dial. Kami membalikkan yang pasca-pelatihan kali ini karena itu memiliki kelonggaran terbanyak — bukan karena yang lain sudah selesai. Ukuran model dasar, data pra-pelatihan, komputasi yang digunakan per forward pass: semuanya masih ada di meja, dan kami akan kembali ke masing-masing. Apa yang diajarkan eksperimen ini adalah bahwa dial tidak harus diputar bersama, dan yang layak diputar berikutnya jarang sekali yang layak diputar terakhir. Kita belum selesai melakukan skala. Lain kali, mungkin di tengah latihan, pra-pelatihan, dan bahkan lebih banyak lagi.