Algoritma & UX: Prompt Geri Bildirimiyle Kullanıcı Deneyimini İyileştirme

AI sistemlerinin kullanıcılarla kurduğu diyaloglarda promptlar ve onlardan gelen geri bildirimler, deneyimi doğrudan şekillendirir. Bu makalede, pratik ilkeler, toplayabileceğiniz geri bildirim tipleri, etiketleme/annotasyon yaklaşımları ve etkileşimli prompt örnekleri üzerinden nasıl daha iyi bir UX tasarlayabileceğinizi adım adım ele alıyoruz.

Neden kullanıcı geri bildirimi kritik?

Kullanıcı geri bildirimi, AI çıktılarının beklentilerle ne kadar uyumlu olduğunu gösteren en doğrudan işaretlerden biridir. Microsoft Research'in kullanım kabulüne dair çalışması, kullanıcı beklentilerinin yönetilmesinin ve geri bildirim kanallarının tasarımının AI sistemlerinin benimsenmesinde etkili olduğunu vurgular (Microsoft Research, 2019). Benzer şekilde, prompt koçluğu ve rehberliği üzerine yapılan çalışmalar, kullanıcıların etkileşim kalitesini ve güvenini artırabileceğini göstermektedir (Penn State, 2024).

Temel tasarım ilkeleri

• Düşük sürtünme: Geri bildirim vermek kolay olmalı. Tek tıkla olumlu/olumsuz ya da kısa bir seçenek menüsü kullanın.
• Hızlı bağlamlama: Kullanıcıya neden geri bildirim istediğinizi kısaca açıklayın; beklenti yönetimi benimsemeyi artırır (kaynak).
• Yönlendirici seçenekler: Açık uçlu bir metin alanı yerine ön tanımlı seçenekler sunmak analiz ve etiketleme sürecini kolaylaştırır.
• Öğrenen etkileşim: Geri bildirime göre prompt'u anlık olarak uyarlayın; düşük puan alan cevaplar için doğrulayıcı sorular gösterin.
• Şeffaflık: Toplanan verinin nasıl kullanılacağını ve gizlilik politikasını açıkça belirtin.

Hangi tür geri bildirimleri toplayabilirsiniz?

Anlık puanlama

Kullanıcıya her cevap sonrası "faydalı / kısmen faydalı / faydasız" gibi üç seçenek sunmak en yaygın yöntemdir. Microsoft Copilot Studio'nun önerileri, her yanıta küçük bir geri bildirim aracı eklemenin pratik bir yol olduğunu gösterir (Microsoft Copilot Studio).

Hızlı neden seçimi

Kullanıcı düşük puan verdiğinde, nedenini seçmesi için kısa bir liste sunun: "çok uzun", "yanlış bağlam", "teknik seviye uygun değil" gibi. Bu etiketler, model ayarı veya prompt revizyonu için doğrudan sinyal sağlar.

Düzenleme / yeniden yazma isteği

Kullanıcıya cevabı düzenleme veya yeniden yazma seçeneği verin. Kullanıcının yaptığı düzenlemeler, sistem için güçlü eğitim verisi sağlar (kullanıcı niyeti ve tercihlerini gösterir).

Session-level (oturum) geri bildirimi

Tek tek yanıtlardan öte, oturum sonunda daha kapsamlı bir kısa anketle deneyimin genel kalitesini ölçün. Bu, mikro ve makro iyileştirmeleri ayırt etmenize yardımcı olur.

Etiketleme ve anotasyon: Pratik yaklaşımlar

Geri bildirim verisini analize hazır hale getirmek için net bir etiket şeması oluşturun. Önerilen adımlar:

1. İlk taslak etiket seti hazırlayın (ör. relevans, doğruluk, ton, uzunluk).
2. İnsan anotatörlerle küçük bir pilot çalışması yapın; etiketler açık ve tutarlı mı test edin.
3. Annotator rehberi oluşturun: örnekler, sınır durumlar ve karara dair kısa notlar içermeli.
4. Kalite kontrol: rasgele çift anotasyon ve uzlaşma kontrolü uygulayın.

Bu süreç, hem model değerlendirmesi hem de supervised fine-tuning için kullanılabilecek güvenilir veri üretir.

İnteraktif prompt örnekleri ve mikro-akışlar

Aşağıda, düşük puanlı bir yanıt için uygulanabilecek basit bir mikro-akış örneği verilmiştir:

1. Kullanıcı "Faydasız" butonuna tıkladı.
2. Sistem: "Bu cevabın neden faydasız olduğunu kısaca seçin:" ve 3 seçenek göster (ör. "İçerik yanlış","Çok teknik","Eksik örnek").
3. Kullanıcı bir neden seçer. Sistem, bu nedeni prompt'a ekleyerek yanıtı yeniden üretmeyi önerir: "Daha az teknik bir dil kullanarak tekrar yazar mısın?"
4. Kullanıcı onaylarsa sistem prompt'u uyarlayıp yeni bir sonuç döndürür; değişiklikler veri olarak kaydedilir.

Bu akış, kullanıcıya kontrol verirken aynı zamanda modelin öğrenmesi için yapılandırılmış geri bildirim sağlar.

Test etme ve ölçme

Değişikliklerin etkisini ölçmek için aşağıdaki yaklaşım uygulanabilir:

• A/B testleri: Yeni geri bildirim UI'sini rastgele bir kullanıcı alt kümesine sunun ve ölçülen CSAT, yeniden sorgulama oranı gibi metrikleri karşılaştırın.
• Kohort analizi: Farklı kullanıcı segmentlerinin (yeni/kayıtlı) geri bildirim verilerini ayrı değerlendirin.
• Davranış göstergeleri: Bir cevabın ardından kaç kullanıcı tekrar soru sordu, kaç düzenleme yaptı gibi sinyaller takip edilebilir.

Unutmayın ki bulgular üründen ürüne değişebilir; deneyler küçük adımlarla ve kontrollü şekilde genişletilmelidir.

Gizlilik, güvenlik ve şeffaflık

Geri bildirim toplarken veri minimizasyonu ve açık onay mekanizmaları uygulayın. Kullanıcıya hangi verilerin toplanacağı, ne amaçla saklanacağı ve paylaşılacağı açıkça bildirilmelidir. Özellikle kişisel veya hassas içerik içerebilecek geri bildirim alanlarında otomatik maskeleme veya moderasyon hatları düşünün.

Uygulama kontrol listesi (hızlı)

• Her yanıt için düşük sürtünmeli bir geri bildirim seçeneği ekleyin.
• Düşük puan için neden seçimleri sunun ve bu etiketleri merkezî bir şemaya kaydedin.
• Kullanıcı düzenlemelerini eğitim verisi olarak güvenli biçimde saklayın.
• A/B testleriyle değişikliklerin etkisini ölçün ve küçük adımlarla uyarlayın.
• Gizlilik politikalarını görünür kılın ve veri kullanımını açıklayın.

Kaynaklar ve ileri okuma: Microsoft Research çalışması ve Copilot Studio rehberi geri bildirim tasarımına dair pratik yaklaşımlar sunar (Microsoft Research, Microsoft Copilot Studio). Prompt tasarım kalıpları ve kullanıcı etkileşimi örnekleri için EngineersOfAI raporu faydalıdır (EngineersOfAI, 2023), prompt koçluğu etkilerini inceleyen akademik çalışma ise rehberlik öğelerinin katılımcı algısı üzerindeki etkilerini tartışır (Penn State, 2024).

Not: Bu rehberde önerilen uygulamalar genel iyi uygulamalara dayanmaktadır; her ürünün bağlamında küçük pilot testleri yaparak uygulanması önerilir.