Çok Ajanlı Pekiştirmeli Öğrenme ve Koordineli Yapay Zekâ Mimarisi
Çok ajanlı yapay zekâ; etkileşim, ödül tasarımı, değerlendirme ve dağıtım için mimari gerektirir çünkü ajanlar başka ajanların şekillendirdiği ortamlarda öğrenir.
Yapay zekâ sistemleri daha otonom hâle geldikçe ürün ekipleri giderek daha fazla çok ajanlı problemle karşılaşacak. Tek bir model yönetilebilir olabilir. Birbiriyle etkileşen öğrenen ajanlardan oluşan ağ ise farklı bir mühendislik zorluğudur. Albrecht, Christianos ve Schäfer'in Multi-Agent Reinforcement Learning: Foundations and Modern Approaches kitabı bu zorluk için yapılandırılmış bir temel sunar.
Alıntı ve içindekilere göre kitap, pekiştirmeli öğrenme temellerinden oyun teorisi etkileşim modellerine ve modern derin çok ajanlı pekiştirmeli öğrenmeye ilerler. Markov karar süreçleri, değer fonksiyonları, dinamik programlama, stokastik oyunlar, kısmi gözlemlenebilir stokastik oyunlar, minimax ve Nash dengesi gibi çözüm kavramları, temel MARL algoritmaları, derin RL, merkezi eğitim ve merkezi olmayan yürütme, değer ayrıştırma, ajan modelleme, self-play, popülasyon tabanlı eğitim ve pratik ortamları kapsar.
Yapay zekâ ürünleştirme için temel nokta şudur: çok ajanlı sistemler tek ajanlı sistemlerden farklı davranır. Tek ajanlı RL'de ortam çoğu zaman durağan modellenebilir. MARL'de ortamın içinde başka öğrenenler vardır. Bu durağan olmama sorununu yaratır. Bir ajanın politikası diğer ajanların veri dağılımını ve ödül manzarasını değiştirir. Bu durum eğitim kararlılığı, değerlendirme ve dağıtım için doğrudan sonuçlar doğurur.
Kitabın sıraladığı zorluklar — durağan olmama, denge seçimi, çok ajanlı kredi atama ve ölçekleme — mühendislik riskleriyle örtüşür. Durağan olmama çevrimdışı doğrulamayı zorlaştırır. Denge seçimi sistemin hangi kararlı davranışa yakınsayacağı sorusunu doğurur. Kredi atama, küresel ödül birçok ajana bağlı olduğunda öğrenmeyi etkiler. Ölçekleme ise hesaplama ve koordinasyon sorunları yaratır.
Danışmanlık perspektifinden MARL yalnızca robotik ve oyunlarla sınırlı değildir. Lojistik ağları, tedarik zinciri koordinasyonu, filo yönetimi, dinamik fiyatlandırma, endüstriyel otomasyon, otonom mobilite ve çok ajanlı yazılım iş akışları için de düşünsel araçlar sağlar. Şirketler operasyonel süreçlere yapay zekâ ajanları yerleştirdikçe ajanlar arası etkileşim bir tasarım konusu olacaktır.
Pratik mimari sorulardan biri merkezi eğitim mi, merkezi olmayan yürütme mi, yoksa ikisinin birlikte mi kullanılacağıdır. Merkezi eğitim öğrenme sırasında küresel bilgiyi kullanarak koordinasyonu iyileştirebilir. Merkezi olmayan yürütme ajanların yerel çalışmasını sağlar; bu gecikme, dayanıklılık veya gizlilik için gerekli olabilir. Doğru seçim ürün bağlamına bağlıdır.
Bir başka konu değerlendirmedir. Çok ajanlı sistemlerde tek bir ajanı izole test etmek çoğu zaman yetmez. Ekiplerin senaryo tabanlı değerlendirmeye, adversarial vakalara, ortam koleksiyonlarına ve etkileşim dinamiklerini yansıtan öğrenme eğrilerine ihtiyacı vardır. Kitabın çok robotlu depolar, StarCraft, Google Research Football, Hanabi, Overcooked ve PettingZoo benzeri koleksiyonlara değinmesi standart ortamların deneyler için önemini gösterir.
Ozycore.de kitlesi için ana ders şudur: koordineli yapay zekâ, koordineli mimari gerektirir. Ajanlar bağımsız optimize edilirse sistem beklenmeyen davranışlar üretebilir. Ödüller kötü tasarlanırsa ajanlar metrikleri karşılayan ama ürün hedeflerini ihlal eden stratejiler öğrenebilir. Eğitim ve yürütme modları uyumsuzsa dağıtım başarısız olabilir.
MARL her otomasyon problemi için doğru cevap değildir. Ancak kararların birbirini etkilediği sistemler için bir dil sağlar. Yapay zekâ ajanları kurumsal yazılımların parçası oldukça bu dil daha önemli hâle gelecektir.