AI'ın En Büyük Pazarı Eğitim Değil, Çalıştırmak: Inference Çağının Başlangıcı

Yapay zekâ denildiğinde akla hâlâ devasa GPU kümeleri, milyarlarca parametreyle eğitilen modeller ve astronomik eğitim maliyetleri geliyor. Oysa sektör sessiz sedasız çok daha büyük bir dönüşümün içine girmiş durumda.

Artık yarış, en büyük modeli kimin eğittiği değil, en düşük maliyetle en fazla yapay zekâ cevabını kimin üretebildiği üzerine kurulu.

Başka bir ifadeyle, yapay zekânın en büyük pazarı eğitim (training) değil, çıkarım (inference) haline geliyor.

Bu değişim yalnızca NVIDIA, AMD veya yeni AI çip girişimlerini değil; veri merkezlerini, enerji altyapısını ve geleceğin yazılım mimarisini de yeniden şekillendiriyor.

Bir yapay zekâ modeli eğitildiğinde büyük bir sermaye harcaması yapılır.

Yüz binlerce GPU saatleri boyunca çalışır, petabaytlarca veri işlenir ve model tamamlanır.

Ancak eğitim süreci bittiğinde bu maliyet sona erer.

Asıl maliyet bundan sonra başlar.

Her ChatGPT sorusu...

Her Claude sohbeti...

Her GitHub Copilot önerisi...

Her AI Agent görevi...

Modelin yeniden çalışmasını gerektirir.

Bu işlem milyonlarca kullanıcı tarafından aynı anda tekrarlandığında, eğitim maliyetinin çok üzerinde sürekli bir operasyonel gider ortaya çıkar.

İşte bu nedenle inference artık yapay zekâ şirketlerinin gerçek maliyet merkezi haline gelmiştir.

Bir LLM'in çalışması dışarıdan oldukça basit görünür.

Kullanıcı bir soru sorar.

Model cevap verir.

Gerçekte ise her yeni kelime üretildiğinde çok karmaşık bir işlem zinciri tekrar edilir.

Model ağırlıkları yüksek bant genişlikli bellekten okunur.

Daha önce üretilen tüm kelimeler bağlam olarak değerlendirilir.

Attention hesaplamaları yapılır.

Sonraki token tahmin edilir.

Bu süreç cevap tamamlanıncaya kadar yüzlerce hatta binlerce kez tekrar eder.

Yani aslında kullanıcı tek bir soru sormaz.

Model binlerce küçük hesaplama gerçekleştirir.

Ve bunların tamamı elektrik tüketir.

Bugün neredeyse bütün büyük modeller NVIDIA GPU'larında çalışıyor.

Bunun nedeni GPU'nun olağanüstü esnek olmasıdır.

Grafik işler.

Bilimsel hesaplama yapar.

Yapay zekâ çalıştırır.

Video işler.

Fizik simülasyonu yapar.

Fakat tam da bu nedenle inference açısından mükemmel değildir.

Çünkü GPU, her ihtimale hazırlıklı genel amaçlı bir işlemcidir.

Inference ise artık son derece belirli bir iş yüküne dönüşmüş durumdadır.

Bu da gereksiz esnekliğin enerji israfı anlamına gelmesine neden olur.

Yapay zekâ denildiğinde çoğu kişi daha güçlü işlemcilerin sorunu çözeceğini düşünür.

Gerçekte ise günümüz Transformer modellerinin en büyük problemi işlem gücü değildir.

Bellektir.

Bir model çalışırken GPU'nun önemli bölümü hesaplama yapmak yerine model ağırlıklarının bellekten gelmesini bekler.

Bu nedenle modern AI sistemlerinde performansı belirleyen temel unsur artık yalnızca TFLOPS değildir.

Bellek bant genişliği ve veri taşıma mimarisi çok daha kritik hale gelmiştir.

Bugün bulut sağlayıcıları aynı GPU üzerinde onlarca hatta yüzlerce kullanıcıyı aynı anda çalıştırır.

Bu yönteme batching denir.

Amaç model ağırlıklarını tek sefer okuyup çok sayıda kullanıcıya hizmet verebilmektir.

Ekonomik açıdan mantıklıdır.

Ancak kullanıcı açısından önemli bir yan etkisi vardır.

Gecikme.

Kod yazan bir AI Agent düşünelim.

Agent sürekli küçük kararlar verir.

Bir satır kod üretir.

Derler.

Hata görür.

Tekrar üretir.

Bu döngünün her adımında birkaç yüz milisaniyelik gecikme bile toplam deneyimi ciddi biçimde yavaşlatır.

Dolayısıyla geleceğin AI uygulamaları yalnızca yüksek throughput değil, çok düşük latency de talep edecektir.

Yıllarca ekran kartları TFLOPS ile karşılaştırıldı.

Yani saniyede kaç trilyon işlem yapılabildiği önemliydi.

Inference ekonomisinde ise yeni başarı metriği farklıdır.

Tokens per Watt.

Bir veri merkezi aynı elektrik tüketimiyle ne kadar fazla token üretebiliyorsa o kadar rekabetçi hale gelir.

Bu değişim ilk bakışta küçük görünse de aslında bütün sektörün yatırım mantığını değiştiriyor.

2023 yılında GPU kıtlığı konuşuluyordu.

2026 itibarıyla birçok büyük veri merkezinin karşılaştığı temel sorun farklı.

Elektrik.

Yüksek gerilim hattı.

Trafo kapasitesi.

Soğutma altyapısı.

Modern AI veri merkezleri artık yalnızca donanımla değil, enerji mühendisliğiyle de rekabet ediyor.

Bu nedenle yüzde 20 daha verimli çalışan bir sistem, yüzde 20 daha hızlı çalışan bir sistemden çok daha değerli olabiliyor.

Google yıllar önce TPU ile bu dönüşümü başlattı.

Bugün Amazon Trainium ve Inferentia ailesine yatırım yapıyor.

Microsoft kendi AI hızlandırıcılarını geliştiriyor.

Meta benzer yönde ilerliyor.

OpenAI'nin de özel silikon geliştirdiğine dair güçlü işaretler bulunuyor.

Ortak nokta oldukça açık.

Genel amaçlı GPU'lar hâlâ vazgeçilmez.

Ancak yalnızca inference için tasarlanmış sistemler artık ekonomik olarak daha avantajlı hale geliyor.

Makalenin merkezindeki şirket olan Etched de tam olarak bu noktaya yatırım yapıyor.

Şirket yalnızca yeni bir AI çipi üretmiyor.

Bunun yerine;

• işlemci,
• bellek,
• bağlantı altyapısı,
• güç dağıtımı,
• soğutma sistemi,
• rack tasarımı

tek bir mühendislik problemi olarak ele alıyor.

Çünkü gelecekte rekabet tek bir çip üzerinde değil, tüm sistem mimarisi üzerinde yaşanacak.

Makalenin en dikkat çekici vurgularından biri teknik başarıdan çok operasyonel başarı üzerine.

İyi bir çip tasarlamak artık yeterli değil.

Asıl farkı oluşturan unsur;

• binlerce sistemi zamanında üretebilmek,
• tedarik zincirini yönetebilmek,
• veri merkezine kurabilmek,
• sürekli bakım sağlayabilmek.

Yani geleceğin rekabet avantajı yalnızca silikon değil, üretim ölçeği olacak.

Yapay zekâ sektörü yeni bir evreye giriyor.

İlk dönem "en büyük modeli kim eğitecek?" sorusuyla şekillendi.

İkinci dönem ise "aynı modeli en düşük maliyetle kim çalıştıracak?" sorusuyla şekilleniyor.

Bu değişim yalnızca yeni AI çiplerinin doğmasına neden olmayacak.

Veri merkezi mimarileri, enerji yatırımları, ağ altyapıları ve kurumsal yazılımlar da bu dönüşüme uyum sağlamak zorunda kalacak.

Önümüzdeki birkaç yıl içinde kazanan şirketler yalnızca daha güçlü GPU üretenler olmayabilir.

Daha verimli sistemler tasarlayan, elektriği daha akıllıca kullanan ve inference maliyetini radikal biçimde düşüren şirketler, yapay zekâ ekonomisinin yeni liderleri olma şansını yakalayacak.

Çünkü görünen o ki, yapay zekânın geleceğini artık model sayısı değil, bir watt elektrikten kaç token üretilebildiği belirleyecek.