Tiny Corp memperkenalkan tinybox Red Kimi, workstation seharga US$30.000 atau sekitar Rp480 juta yang dirancang menjalankan model AI Moonshot AI Kimi K3 berparameter 2,8 triliun secara lokal. Mesin ini mengandalkan empat kartu grafis AMD Radeon AI Pro R9700 dan 16 SSD NVMe, dengan sasaran menjalankan model kelas frontier di meja kerja, tanpa bergantung pada data center.
Harga tersebut menempatkan Red Kimi di kelas komputer desktop yang sangat mahal. Tiny Corp menyebutnya sebagai cara yang relatif terjangkau untuk menjalankan Kimi K3 dalam presisi native, dibanding sejumlah alternatif yang harganya lebih tinggi atau kapasitas memorinya belum mencukupi.
Empat GPU dan 16 SSD NVMe dalam satu workstation
Setiap Radeon AI Pro R9700 memiliki memori GDDR6 sebesar 32 GB dan bandwidth 640 GB per detik. Dengan empat kartu, kapasitas memori GPU mencapai 128 GB, sementara bandwidth gabungannya tercatat 2.560 GB per detik. Red Kimi dibangun menggunakan platform G5 milik Tiny Corp dan prosesor AMD Epyc Genoa 32 inti. Model prosesor yang tepat tidak dicantumkan pada konfigurator.
Workstation ini juga dibekali memori sistem DDR5 32 GB. Namun, bagian yang paling tidak biasa adalah susunan penyimpanannya: 16 SSD NVMe berkapasitas masing-masing 1 TB yang dirangkai dalam array RAID. Tiny Corp menyebut kecepatan array tersebut mencapai 238,4 GB per detik.
Menurut perusahaan, perangkat lunak tinygrad kini memiliki driver yang memungkinkan GPU AMD mengakses SSD NVMe secara langsung. Dengan cara itu, pembacaan data tidak harus selalu melewati CPU. Tiny Corp memandang penyimpanan cepat sebagai cara menutup kesenjangan antara ukuran model AI yang sangat besar dan kapasitas memori GPU yang tersedia.
Mengapa model Kimi K3 membutuhkan penyimpanan besar
Kartu model Moonshot menunjukkan Kimi K3 menggunakan bobot native MXFP4. Hyperstack mengukur checkpoint yang dipublikasikan memiliki ukuran sekitar 1,56 TB. Kapasitas gabungan memori empat GPU Red Kimi hanya dapat menampung sebagian kecil dari bobot tersebut—sekitar 8 persen—sehingga data lain perlu disimpan di lapisan penyimpanan. Tiny Corp memilih flash yang biayanya lebih rendah dibanding DRAM.
Gagasan memakai SSD sebagai lapisan tambahan bagi memori akselerator bukan hal baru. Peneliti Nvidia dan University of Illinois pernah mempresentasikan arsitektur BaM, yang memungkinkan akses SSD diinisiasi GPU, dalam konferensi ASPLOS 2023. Perbedaan yang ditawarkan Tiny Corp adalah penerapan pendekatan serupa pada workstation berbasis kartu AMD yang dapat dipesan.
Tiny Corp mengklaim Red Kimi mampu menjalankan Kimi K3 pada kecepatan 40 token per detik. Namun, angka itu belum diverifikasi pihak di luar perusahaan. Kimi K3 merupakan model mixture-of-experts yang mengaktifkan 16 dari 896 routed experts, ditambah dua shared experts. Total parameter aktifnya mencapai 104 miliar untuk setiap token.
Klaim kecepatan masih perlu diuji
Pada format MXFP4 dengan efektivitas 4,25 bit per bobot, setidaknya 55 GB bobot perlu dibaca untuk menghasilkan setiap token. Jika seluruh data itu harus diambil dari SSD, array Red Kimi diperkirakan hanya sanggup menghasilkan sekitar empat token per detik. Untuk mencapai klaim 40 token per detik, sistem perlu memindahkan sekitar 2,2 TB bobot per detik.
Karena itu, angka performa tersebut tampaknya bergantung pada kemampuan memori GPU menyimpan sebagian besar bobot yang dibutuhkan secara berulang. Hal itu mungkin terbantu oleh pola pemilihan expert yang dapat diprediksi dan cache yang efektif. Kemungkinan lain adalah penggunaan kuantisasi dengan presisi lebih rendah dari format native, speculative decoding, atau gabungan beberapa teknik.
Tiny Corp belum mengungkap presisi yang digunakan, panjang konteks, ukuran batch, ataupun metode pengujian di balik angka 40 token per detik. Angka tersebut karenanya masih harus diperlakukan sebagai klaim produsen, bukan hasil uji independen. Perhitungan bandwidth gabungan juga mengasumsikan beban terbagi merata di antara empat kartu yang berkomunikasi melalui PCIe.
Harga dan kompromi ukuran serta kebisingan
Red Kimi bukan mesin ringkas. Konfigurator menyebut bobotnya sekitar 56 pon, dengan ukuran lebar 12 inci, tinggi 19,25 inci, dan kedalaman 18 inci. Rating kebisingan untuk versi R9700 juga dinaikkan menjadi di bawah 60 desibel, dari sebelumnya di bawah 50 desibel. Tiny Corp memperingatkan kipas blower pada kartu grafis tersebut akan terdengar.
Harga US$30.000 memang tinggi, tetapi alternatif untuk menjalankan model sebesar Kimi K3 secara lokal juga menghadapi batas kapasitas maupun biaya. Mac Studio dengan M5 Ultra dan memori terpadu 512 GB dibanderol mulai US$22.299 dan mencapai US$29.799 dengan SSD 16 TB, menurut laporan Macworld. Memori 512 GB itu tetap belum cukup untuk menampung checkpoint K3 dalam ukuran native.
Nvidia DGX Station berbasis GB300 disebut dijual hampir US$91.100 dengan memori 748 GB, yang juga belum mencukupi untuk checkpoint tersebut. Perbandingan ini menunjukkan Red Kimi mengisi ceruk khusus: perangkat workstation untuk eksperimen model AI besar secara lokal, dengan kompromi pada harga, kebisingan, dan ketergantungan pada klaim performa yang masih menunggu pembuktian independen.

