Yapay Zekâda Asıl Maliyet Model Değil, Unuttuğunuz Altyapıdır

Son iki yıldır hemen her kurumda benzer bir cümle duyuyorum:

"Bir AI Agent platformu kuralım."

Cümle kısa.

Etkisi büyük.

Maliyeti ise çoğu zaman tahmin edilenden çok daha büyük.

Çünkü kurumların önemli bir bölümü aslında ne inşa etmek istediğini tam olarak tanımlamadan "agent platformu" inşa etmeye çalışıyor.

Oysa gerçek dünyada karşılaşılan en büyük problem model seçimi değil.

Asıl problem; hafıza, yönetişim, değerlendirme ve orkestrasyon katmanlarının beklenenden çok daha karmaşık olması.

Bugün birçok şirket, birkaç API entegrasyonu ve bir LLM kullanarak agent geliştirebileceğini düşünüyor. İlk demo genellikle çalışıyor.

Sorun ikinci ayda başlıyor.

Kurumların önemli kısmı aslında agent değil workflow geliştiriyor.

Bir workflow'da süreç önceden tanımlıdır.

• Hangi veri alınacak bellidir.
• Hangi araç çağrılacak bellidir.
• Hangi çıktı üretilecek bellidir.

Agent tarafında ise durum farklıdır.

Agent:

• Karar verir
• Araç seçer
• Süreci yönlendirir
• Beklenmeyen durumlara tepki verir

Bu nedenle agent geliştirmek, workflow geliştirmekten kat kat daha karmaşık hale gelir.

İlk hataların büyük bölümü burada ortaya çıkıyor.

Kurumlar workflow maliyetiyle başlayıp agent platformu maliyetiyle karşılaşıyor.

Çoğu ekip hafızayı şu şekilde tanımlıyor:

"Bir vector database kuralım, geçmiş konuşmaları saklayalım."

Kulağa mantıklı geliyor.

Ancak üretim ortamında çalışan agent'ların hafızası bundan çok daha karmaşık.

Gerçek kurumsal hafıza:

• Geçmiş olayları hatırlamalı
• Öğrenilen bilgileri saklamalı
• Prosedürleri korumalı
• Zamana bağlı değişimleri takip etmeli
• Çelişkili bilgileri yönetebilmeli

Bugün yalnızca agent memory alanında çalışan ayrı şirketlerin ortaya çıkması tesadüf değil.

Bu durum tek başına bize şunu gösteriyor:

Hafıza artık bir özellik değil.

Bağımsız bir ürün kategorisi.

Geleneksel sistemlerde erişim kontrolü yeterliydi.

Kullanıcı neye erişebilir?

Kullanıcı neyi değiştirebilir?

Sorular bunlardı.

Agent dünyasında ise yeni soru ortaya çıkıyor:

Agent ne yapabilir?

Bu küçük gibi görünen fark aslında güvenlik mimarisini tamamen değiştiriyor.

Çünkü artık:

• Agent e-posta gönderebilir
• Agent sipariş verebilir
• Agent müşteriyle iletişim kurabilir
• Agent karar süreçlerini etkileyebilir

Dolayısıyla log tutmak artık yeterli değil.

Kurumlar şunları da cevaplamak zorunda:

• Neden bu kararı verdi?
• Hangi veriyi kullandı?
• Kim onayladı?
• Hangi kurala göre hareket etti?

Özellikle regülasyonların arttığı Avrupa pazarında bu soruların önemi giderek büyüyor.

Geleneksel yazılımda test kolaydır.

Aynı girdiyi verirseniz aynı çıktıyı alırsınız.

Agent'larda bu kural bozulur.

Aynı soru farklı zamanlarda farklı ama doğru cevaplar üretebilir.

Bu nedenle yeni değerlendirme yöntemleri ortaya çıkıyor.

Artık yalnızca sonucu değil:

• Karar zincirini
• Araç kullanımını
• Ara adımları
• Görev tamamlama şeklini

ölçmek gerekiyor.

Kısacası agent'ın sadece ne yaptığı değil, nasıl yaptığı da önem kazanıyor.

Belki de en kritik konu bu.

Bugün doğru görünen mimari altı ay sonra eskiyebiliyor.

2024'te yaygın olan birçok yaklaşım bugün yerini yeni tekniklere bırakmış durumda.

Bu nedenle şirketler yalnızca model bağımlılığı değil, mimari bağımlılık da oluşturuyor.

Yarın:

• farklı model,
• farklı hafıza yapısı,
• farklı agent framework'ü

gerektiğinde sistemi yeniden yazmak zorunda kalabiliyorlar.

Asıl teknik borç burada oluşuyor.

Bana göre cevap oldukça net.

Kurumlar;

✅ Kendi verilerini sahiplenmeli

✅ Kendi iş mantıklarını geliştirmeli

✅ Kendi süreçlerini optimize etmeli

✅ Rekabet avantajı sağlayan katmanları üretmeli

Ancak;

❌ Hafıza motoru

❌ Agent orkestrasyon katmanı

❌ İzleme ve değerlendirme altyapısı

❌ Temel agent platform bileşenleri

gibi teknolojiye özgü alanlarda yeniden tekerlek icat etmeye çalışmamalı.

Çünkü bu alanların tamamı başlı başına ürün kategorileri haline gelmiş durumda.

Yapay zekâ projelerinde başarısızlığın temel nedeni çoğu zaman model seçimi değil.

Yanlış kapsam tanımı.

Birçok kurum "agent platformu" inşa ettiğini düşünürken aslında dört farklı ürün geliştirmeye çalışıyor:

• Memory
• Governance
• Evaluation
• Orchestration

Bu dört alanın her biri ayrı uzmanlık gerektiriyor.

Belki de bugün verilmesi gereken en önemli karar:

Agent geliştirmek mi istiyoruz, yoksa agent platformu geliştirmek mi?

Çünkü bu iki sorunun bütçesi, süresi ve riski birbirinden tamamen farklı.