AI Agent'ın Hafızası (Memory) Nasıl Çalışır?

Bir AI agent (yapay zeka asistanı) ile konuşurken, onun sizi hatırlaması beklenir. Örneğin, bir diş kliniğine randevu almak için aradığınızda, daha önceki tedavinizi sorması doğaldır. Peki bu hafıza nasıl çalışır? İşte temel iki mekanizma: kısa süreli (oturum içi) ve uzun süreli (veritabanı/vektör) hafıza.

Kısa Süreli Hafıza: Oturum Context’i

Bir AI agent, bir konuşma oturumu boyunca (örneğin bir WhatsApp sohbeti) önceki mesajları hatırlamak için tüm konuşma geçmişini LLM (büyük dil modeli) prompt’una ekler. Bu prompt, modelin o ana kadarki bağlamı görmesini sağlar. Ancak LLM’lerin token sınırı vardır; genelde birkaç bin token (örneğin 4K-8K token) arasında değişen bir kapasiteyle çalışır. Bu nedenle, çok uzun konuşmalar özetlenerek veya en kritik kısımlar korunarak prompt’a eklenir.

Örneğin, bir hasta WhatsApp üzerinden diş ağrısı şikayetiyle mesaj atar. Agent, ilk mesajı not eder. Hasta birkaç dakika sonra “dişimi çektirmem gerekir mi?” diye sorarsa, agent önceki şikayeti hatırlar ve bağlam içinde yanıt verir. Oturum kapatılmadıkça bu hafıza korunur. Ancak oturum sona erdiğinde (örneğin 24 saat geçince veya uygulama kapanınca) bu kısa süreli bellek sıfırlanır.

Uzun Süreli Hafıza: Veritabanı ve Vektör Depolama

Uzun süreli hafıza, farklı oturumlar arasında bilginin kalıcı olmasını sağlar. Bunun için en yaygın yöntem, geçmiş konuşmaların bir vektör veritabanına dönüştürülerek saklanmasıdır. Her konuşma parçası (örneğin bir mesaj veya bir özet) sayısal bir vektöre (embedding) çevrilir. Kullanıcı tekrar geldiğinde, sistem o kullanıcının kimliğini algılar (telefon numarası gibi), vektör veritabanında benzer konuları arar ve en ilgili geçmiş bilgileri getirerek LLM prompt’una ekler.

Bu sayede AI agent, daha önceki tedavileri, tercihleri veya notları hatırlayabilir. AI Automation (yapay zeka otomasyonu) bağlamında bu özellik, müşteri deneyimini kişiselleştirir ve işletmelere zaman kazandırır.

Somut Senaryo: Diş Kliniği Hasta Takibi

Bir diş kliniğinin AI asistanı Buyo’yu hayal edin. Aşağıdaki adımlar, hafızanın nasıl işlediğini gösterir:

1. Kimlik Tanıma: Hasta, kayıtlı telefon numarasıyla WhatsApp üzerinden mesaj atar. Sistem, numarayı veritabanında eşleştirir.
2. Uzun Süreli Hafıza Çağırma: İlgili hastanın geçmiş konuşmaları vektör veritabanından getirilir. Örneğin, “20 Mart’ta kanal tedavisi yapıldı” bilgisi bulunur.
3. Prompt Oluşturma: Bu geçmiş bilgiler, mevcut mesajla birlikte bir LLM prompt’unda birleştirilir. Prompt, “Aşağıdaki hasta geçmişine göre soruyu yanıtla” şeklinde yönlendirilir.
4. Yanıt Üretimi: LLM, geçmiş tedaviyi hatırlayarak “20 Mart’taki kanal tedavinizden sonra ağrınız geçti mi?” gibi kişiselleştirilmiş bir soru sorar.

Bu süreç, hasta kendini tanıtmak zorunda kalmadan kesintisiz bir deneyim sağlar. Oturum içi hafıza ise aynı konuşma içinde birden fazla soruyu bağlam içinde yanıtlamaya yarar.

LLM ve Token Sınırlamaları

LLM’lerin token sınırı, hafıza kapasitesini doğrudan etkiler. Çok eski veya önemsiz detaylar otomatik olarak atılır. Bunun için iki yöntem kullanılır:

• Özetleme: Eski konuşmaların özeti çıkarılarak prompt’a eklenir.
• İlgili Bilgi Seçimi: Vektör araması yalnızca en benzer birkaç paragrafı getirir.

Örneğin, bir hasta 6 ay önce kanal tedavisi olmuşsa, o konuşmanın tamamı değil, sadece “kanal tedavisi, diş no: 16” gibi bir özet veya ilgili cümleler saklanır.

Güvenlik ve KVKK Uyumu

Uzun süreli hafıza hassas veri içerir. Bu nedenle, veriler şifrelenmeli, kullanıcı izni alınmalı ve belirli bir süre sonra silinmelidir. AI agent’lar genellikle belirli bir saklama politikasıyla çalışır.

Sonuç olarak, bir AI agent’ın hafızası, kısa süreli oturum context’i ile uzun süreli vektör veritabanının birleşimi sayesinde çalışır. Bu sistem, özellikle müşteri hizmetleri ve AI Automation alanında kesintisiz ve kişiselleştirilmiş deneyimler sunar.