Wawancara terbaru SemiAnalysis: Penyimpanan masih memiliki ruang untuk berlipat ganda, CPU hanya sebagai pemeran pendukung, penerapan CPO ditunda hingga 2029

Setiap lapisan infrastruktur AI saat ini sedang mengalami tekanan secara sinkron, di mana peluang dan kesalahan persepsi berjalan beriringan. Pendiri SemiAnalysis, Dylan Patel, baru-baru ini dalam wawancara podcast secara sistematis menjabarkan dinamika utama serta logika investasi pada tumpukan infrastruktur AI saat ini. Penilaiannya meliputi ekonomi model, super-siklus memori, reprising CPU, risiko timeline CPO, serta peluang struktural dalam suplai energi data center.

Menanggapi keraguan pasar terhadap Return on Investment (ROI) AI, Dylan mengungkapkan bahwa Anthropic telah mencapai arus kas bebas positif pada kuartal kedua tahun ini, pendapatan tahunan berulang menembus 50 miliar dolar,margin kotor di atas 70%. Di level enterprise, lonjakan produktivitas model AI terbaru jauh melebihi peningkatan biaya komputasi, mendorong perusahaan memangkas pengeluaran software lain demi menjaga pertumbuhan anggaran AI yang eksplosif.

Pada evolusi perangkat keras, pergeseran paradigma ke model inferensi tengah membentuk ulang permintaan pasar. Dylan menekankan,memori menghadapi kekurangan struktural yang berlangsung bertahun-tahun, masih ada potensi naik 2–3 kali lipat;seiring itu, meski agent dan reinforcement learning meningkatkan permintaan CPU, pasar seller menetapkan harga terlalu tinggi dan pertumbuhan CPU utamanya berasal dari "menutup hutang sejarah"; nilai absolut CPU di server AI masih kalah jauh dengan GPU.

Dylan berpendapat, realisasi skala besar co-packaged optics (CPO) yang sangat dinantikan pasar,diundur secara jelas hingga akhir 2028 hingga 2029,yang memperpanjang periode keuntungan konektor tembaga. Sementara keterbatasan transmisi dan distribusi listrik kini memaksa data center beralih ke "behind the meter" atau sumber listrik mandiri, sehingga menciptakan peluang investasi rantai pasok energi industri dan konversi daya yang besar, di luar investasi chip tradisional.

Anthropic Memimpin Arus Kas Positif, Narasi Permintaan AI Mulai Menjadi Kenyataan

Terhadap keraguan pasar seputar ROI perusahaan AI, Dylan Patel memberikan data konkret sebagai tanggapan.

"Anthropic telah mencatat arus kas bebas positif di kuartal kedua, untung di April, untung di Mei, Juni tampaknya juga demikian." Ia mengatakan, pendapatan tahunan berulang Anthropic telah menembus 50 miliar dolar, margin kotor di atas 70%. Pendapatan OpenAI juga meningkat pesat seiring adopsi Codex yang melejit.

Kecenderungan ini juga dibuktikan oleh jejak pengeluaran SemiAnalysis. November tahun lalu, tim beranggotakan 90 orang hanya menghabiskan anggaran AI tahunan kurang dari 100 ribu dolar; hingga akhir Januari tahun ini, karena implementasi luas Claude Code, angkanya melonjak jadi 4 juta dolar (tahunan); kini sudah 11 juta dolar, bahkan pada pekan puncak sempat dihitung tahunan menembus 14 juta dolar. "Biaya manusia plus biaya AI, bagian AI sudah melebihi sepertiga, dan sebelum akhir tahun bisa jadi separuh totalnya."

Ia sekaligus menegaskan, model yang lebih update dan lebih powerful tidak serta-merta lebih mahal saat digunakan. Model lama mungkin butuh 100 ribu token, 10 kali interaksi untuk menyelesaikan tugas tertentu, sedangkan model baru cukup 25 ribu token, 1 kali interaksi. "Setiap kali model dari 4.6 Opus naik jadi 4.7 Opus, pengeluaran kita akan turun dulu seminggu, baru melonjak lagi—karena orang langsung sadar, tugas yang sebelumnya tidak bisa sekarang jadi mungkin." Menurutnya, ini juga alasan utama Anthropic unggul dalam persaingan dengan OpenAI:efisiensi token lebih tinggi, biaya total bagi pengguna lebih rendah.

Memori: Kekurangan Struktural, Bukan Siklus Biasa

Dari semua kategori perangkat keras, penilaian Dylan Patel paling tegas untuk memori.

"Ini bukan kekurangan jangka pendek, ini kekurangan struktural yang akan berlangsung selama bertahun-tahun."Ia menegaskan, kapasitas produksi memori hanya tumbuh 20%-30% per tahun, sementara permintaan AI berlipat-lipat, dan selisihnya makin lebar tiap tahun.

Logika utama di balik pandangan ini adalah dampak model inferensi terhadap KV cache. Panjang konteks pada inferensi konvensional hanya ribuan token, ekspos KV cache terbatas; namun, sejak munculnya model-model inferensi seperti o1, panjang konteks melonjak drastis, konsumsi KV cache pun meledak, menjadikan memori sebagai pemenang utama. SemiAnalysis pada Desember 2024 telah merilis laporan khusus tren ini.

Keterbatasan kaku di sisi suplai akan memaksa pasar melakukan redistribusi ulang memori yang terbatas. Ia memprediksi, perangkat elektronik konsumsi yang elastisitas harganya rendah akan paling tertekan—pabrikan ponsel kelas menengah ke bawah sudah mengalami penurunan pengiriman hingga 40%, harga iPhone dan MacBook tahun depan akan naik. "Harga memori akan terus naik, elektronik konsumen akan ditekan ke level baru, sampai pasar AI mendapatkan cukup memori, baru benar-benar tercukupi." Ia menambahkan, meskipun siklus akan turun nanti, "dari dasar ke dasar, pertumbuhan jangka panjang mutlak terjadi."

CPU: Siklus Pemenuhan Terbatas, Jangan Over-eksstrapolasi

CPU muncul sebagai 'bintang' baru dalam narasi infrastruktur AI tahun ini, namun Dylan Patel memberikan peringatan tegas terkait hal ini.

Logika kebangkitan CPU cukup jelas: reinforcement learning butuh banyak CPU untuk validasi lingkungan (unit test code, simulasi dsb.); inferensi agent mengharuskan model sering memanggil tool, berinteraksi dengan dunia nyata, sangat bergantung komputasi CPU. Sementara itu, dalam beberapa tahun terakhir pengiriman AI chip skala besar menjadikan CPU pendukung minim, kini dalam fase pemenuhan massal, ARM, Intel, AMD turut diuntungkan, Nvidia Vera CPU memberi proyeksi pendapatan 20 miliar dolar.

"Tapi saya ingin memberi peringatan penting: ada efek pemenuhan hutang besar di sini." katanya. Setelah kekurangan historis teratasi, permintaan berikutnya hanyalah pertumbuhan incremental, sehingga akan kembali ke normal. Secara nilai absolut, Blackwell satu unit sekitar 50 ribu Dolar, CPU sekitar 5 ribu Dolar—meski CPU rasio volume bisa naik, nilai dolarnya jauh di bawah AI acceleration chip."Memori dan AI acceleration chip-lah yang jadi inti, CPU hanya dapat revaluation karena sebelumnya diremehkan, sekarang sudah priced-in lebih wajar, tidak akan tumbuh lebih cepat dari chip AI selamanya."

Optical Interconnect: Optimis Jangka Panjang, Waspada CPO di Jangka Menengah-Pendek

Jaringan dan optical interconnect juga tengah menjadi sorotan, namun Dylan Patel memilih sikap hati-hati terhadap laju realisasi CPO (co-packaged optics).

"Produksi massal CPO benar-benar baru terjadi, menurut saya di akhir 2028 hingga 2029."Ia mengingatkan, saat ini tingkat yield produksi, desain chip, dan kesiapan supply-chain belum mencapai standar implementasi skala besar, sementara Nvidia Rubin dan arsitektur penerusnya Feynman masih gunakan solusi tembaga penuh, sehingga CPO di GPU masih butuh beberapa generasi iterasi chip selanjutnya.

Ia menuturkan, SemiAnalysis pekan lalu baru merilis laporan ke pelanggan institusional, menilai di jangka menengah justru lebih bullish kabel tembaga dan solusi optik non-CPO, dan tetap hati-hati pada CPO. Beberapa perubahan desain chip (mis. Kyber pada Rubin Ultra sudah hilangkan desain 800V) semakin menunda peluncuran CPO. Perusahaan seperti Amphenol (konektor kabel tembaga) akan diuntungkan lebih dari ekspektasi.

"CPO dalam jangka panjang pasti terjadi, kabel tembaga dalam jangka panjang akan tergantikan, tapi timeline-nya mundur, dalam jangka pendek-menengah kabel tembaga masih punya peluang besar."

Listrik: Sumber Mandiri Akan Jadi Mainstream, Jalur Inovatif Beragam

Pasokan listrik data center kini jadi pembatas fisik paling keras dalam pertumbuhan AI. Menurut prediksi Dylan Patel, tambahan konsumsi listrik data center tahun ini 20 GW, tahun depan 30 GW, tahun berikutnya 50 GW—kenaikan hampir eksplosif.

Ia membagi isu energi jadi tiga dimensi:transmisi, pembangkit dan konversi.Transmisi adalah bagian paling sulit ditembus, menyangkut regulasi, struktur monopoli utility daerah serta mekanisme pembagian biaya, sulit berubah dalam jangka pendek. Untuk pembangkit dan konversi, peluangnya melimpah.

Ia meramalkan, dalam beberapa tahun ke depan, setengah listrik tambahan untuk data center berasal dari "behind the meter"—yakni sumber listrik mandiri, bukan jaringan umum. Solusi dominan sekarang adalah turbin gas combined cycle (CCGT) dari GE Vernova, Mitsubishi, Siemens; di saat sama juga bermunculan mesin reciprocating, industrial gas turbine, bahkan engine non-tradisional hasil modifikasi dari kapal laut, kereta, truk. "Terdengar kasar, tapi memang bisa dijalankan dan sudah mulai dipakai."

Untuk jangka panjang, ia menilai dalam dua tahun ke depan biaya komprehensif solar plus storage akan lebih rendah dari pembangkit gas; lebih jauh lagi ada data center luar angkasa—menempatkan chip komputasi di orbit, panel surya tidak harus menembus atmosfer, densitas energi jauh lebih tinggi dibanding di darat, dan tidak butuh storage energi.

Sisi konversi juga penuh peluang investasi: dari IGBT, silicon carbide ke MOSFET gallium nitride, lalu solid-state transformer, UPS hingga supercapacitor—rantai konversi voltase bergerak cepat. Kini departemen riset terbesar SemiAnalysis bahkan bukan semikonduktor, melainkan tim "DEI" (Data Center, Energy & Industrial) yang memantau tiap deployment data center & pembangkit listrik di seluruh dunia.

Berikut isi wawancara selengkapnya:

Pembawa Acara:Selamat datang kembali di podcast The Next Big Thing. Saya adalah pembawa acara, hari ini bersama saya ada rekan Klay Hyman, serta mitra baru kami dan pendiri lembaga riset SemiAnalysis, Dylan Patel. Hari ini adalah hari yang spesial—kita akan mendalami seluk-beluk infrastruktur AI bersama Dylan. Saya selalu mengikuti konten Dylan, ia sering tampil di podcast, dan newsletter SemiAnalysis selalu ada di daftar wajib baca saya. Baru-baru ini mereka juga punya laporan mendalam soal data center luar angkasa, jika berminat bisa baca, sangat detail.

Dylan, saya ingin mendengar cerita awal mula SemiAnalysis. Saya tahu komunitas Substack belakangan ramai membahas revenue dan keberhasilan perusahaanmu, tapi menurut saya, seringkali orang hanya lihat hasil akhirnya tanpa tahu cerita perjuangan dan kerja keras di balik layar.

Asal-Usul SemiAnalysis

Dylan Patel: Asal-usul SemiAnalysis sebenarnya dari posting online—kalau pakai istilah santai, ya “ngobrol santai.” Saya pertama kali posting seputar semikonduktor sejak remaja, membahas chip, smartphone, layar smartphone, SoC smartphone—padahal waktu itu saya sendiri belum punya smartphone, tapi sangat terobsesi tentang hardware itu. Perangkat game, PC, konsol, saya juga terus posting online soal itu.

Orang-orang di tim sekarang—perusahaan kini sudah ada 90 orang, bahkan ada divisi marketing—mereka sering protes, “Dylan, jangan terlalu suka bales komentar orang random online, itu kesannya perusahaan jadi nggak profesional.” Tapi saya tetap nggak tahan, kalau dikritik online langsung otomatis ingin bales. Mungkin itu nggak baik, tapi begitulah kenyataannya.

Masa remaja saya dihabiskan mengelola forum-forum itu. Ketika mulai punya penghasilan, saya juga mulai investasi. Pernah menjadi quant trader dua kali, selanjutnya mendirikan perusahaan sendiri, tapi tetap konsisten posting online. Pernah posting anonim di blog anonim, tapi 2020 saya mulai bosan dengan kerjaan—ilusi sebagai quant trader itu, Anda bisa dapat uang, tapi nggak sekeren yang dibayangkan. Jadi saya resign dan mulai berwirausaha.

Saat itu saya nggak yakin jalan ini bisa panjang, saya hanya posting di website WordPress bikin sendiri, pakai nama asli, tentang teknologi, bisnis, keuangan, supply chain—hal-hal yang saya suka karena keluarga saya pebisnis kecil. Di Georgia, kami tinggal di motel keluarga, mengelolanya bareng orang tua. Lalu punya pom bensin, jadi saya suka bisnis sejak kecil.

Kemudian, website WordPress itu jadi Substack, mulai berbayar, temanya mengupas seluruh supply chain semikonduktor dan AI. Selama 4 tahun saya keliling dunia, setahun hadir di 40 konferensi—dari konferensi ilmiah tertinggi peneliti AI, sampai seminar teknis bahan kimia di supply chain chip, dari data server sampai jaringan hingga pabrik wafer, seluruh rantai saya datangi. Ada seminar hanya 300 orang full bahasa Jepang, cuma 5 orang bisa bahasa Inggris, saya hadir juga. Ada yang 1-2 ribu orang, saya juga hadiri. Setelah ikut tiga kali, saya paham bahasa industrinya, kenal orang-orangnya, bisa nanya hal mendalam, akhirnya ekosistem itu tertanam di kepala saya.

Pertumbuhan & Pembentukan Tim SemiAnalysis

Dylan Patel:Saya selalu mengamati "tipping point" teknologi—begitu di konferensi mendapati perubahan teknologi atau supply chain, saya tahu dampaknya ke supply chain dan finansial. Sebagian laporan murni soal teknologi saja, dunia finansial tak tertarik; namun sebagian lain bisa menunjukkan bottleneck, tipping point, atau peluang merebut pasar lewat teknologi baru—dan saya bisa menyuarakannya lebih awal dibanding siapa pun, bahkan hedge fund.

Orang ketiga adalah Myin, dulunya di hedge fund, lalu pindah tinggal di Jepang mendampingi istrinya, jadi "freelance." Dia pertama yang berlatar belakang hedge fund, dua yang lain orang teknik. Setelah ia masuk, kami mulai membangun berbagai model finansial, bisnis bertransformasi dari newsletter ke layanan informasi, penjualan riset, penjualan dataset.

Setelah itu, bola salju makin besar. Tahun 2023 ke 2024, jumlah tim dari 2 orang jadi 7; akhir 2024 ke awal 2025, dari 7 ke 20; tahun 2025 ke 2026, dari 20 ke 60; tahun ini tambah 30 lagi, kini jadi 90 orang.

Hal paling menarik tentang SemiAnalysis adalah padatnya talenta—saya tidak tahu ada perusahaan lain yang sepadat kami dalam pemfokusan ini. Ada alumni ASML, Applied Materials, Lam Research; orang Intel, TSMC, Nvidia, Microsoft, Amazon; ada yang pernah di OpenAI bidang model, di Tesla untuk FSD, pernah di Cohere, spesialis data center, bahkan sampai yang pernah membangun pembangkit di Kazakhstan—kerapatan talenta kita benar-benar gila. Sekitar setengahnya engineer lintas level, sisanya mantan hedge fund atau orang pintar antusias hasil pencarian internet.

Sekarang SemiAnalysis punya banyak lini bisnis: layanan data, konsultasi, information services, newsletter, media, dan akan mengadakan konferensi besar pertama—perjalanan yang benar-benar seru.

Suasana GTC Nvidia & Sabuk “Raja Komputasi”

Pembawa Acara:Ngomong soal perjalanan berani, saya teringat momen kuat. WisdomTree dan SemiAnalysis sudah kerja sama beberapa bulan. Di GTC Nvidia, Maret lalu, saya di Charlotte, North Carolina menonton streaming, katanya 55 ribu orang menonton, stadion 20 ribu orang hadir langsung.

Dylan Patel:Betul, memang ada 20 ribu orang di acara itu.

Pembawa Acara:CEO Nvidia, Jensen Huang, langsung menyebut namamu di atas panggung, bilang kamu tuduh ia “menyembunyikan” sebuah data, grafis hasil analisismu langsung diproyeksikan ke layar utama. Saya waktu itu (mungkin mewakilimu) agak merasa deg-degan, mendengar CEO perusahaan publik terbesar dunia menanggapi pendapatmu, meng-address kritikan risetmu soal data itu. Bisa cerita suasananya? Sepertinya kamu benar-benar hadir langsung di tengah keramaian itu.

Dylan Patel:Momen itu terasa sangat surealis. Salah satu hal yang kami lakukan di SemiAnalysis adalah tim engineer yang secara khusus melakukan benchmarking open source ke semua model AI open source dan perangkat keras, pekerjaan yang sebenarnya kurang disorot. Kami punya hubungan erat dengan seluruh industri, misal untuk hardware, kami menerima donasi hardware lebih dari 5.000 dolar dari OpenAI, Microsoft, Amazon, Google, Coreweave, Nebius, Crusoe, dan Oracle juga mendonasikan hardware untuk benchmarking ke kami.