Prompt Injection Ne Demek?
Prompt injection, yapay zekâ sisteminin verilen zararlı veya yanıltıcı talimatlar nedeniyle amaçlanan kuralların dışına çıkarılmaya çalışıldığı saldırı veya manipülasyon yöntemidir.
Nasıl ortaya çıkar?
Bir yapay zekâ uygulaması dışarıdan metin veya belge okuyorsa bu içeriklerin içinde modele yönelik gizli talimatlar bulunabilir.
Örneğin sistem bir web sayfasını analiz ederken sayfaya eklenmiş kötü niyetli bir talimat model davranışını etkilemeye çalışabilir.
Neden önemlidir?
AI sistemleri harici araçlara ve verilere bağlandıkça yalnızca metin üretmekten daha fazla işlem yapabilir.
Bu nedenle prompt injection özellikle ajan tabanlı AI sistemlerinde önemli bir güvenlik konusu hâline gelir.
Kısaca: Prompt injection, yapay zekâyı istenmeyen talimatları takip etmeye yönlendirmeye çalışan manipülasyon yöntemidir.