Açık uçlu yanıtları yapay zekâ ile temalara ayırırken yanıt adedi ile tema işaretlerinin toplamı kolayca karışır. Tek yanıt birden çok temaya işaret edebilir; bu yeni katılımcı veya yanıt oluşturmaz. Bu rehber, sınırlı bir yanıt kümesinde çoklu kodlamayı denetlenebilir kurmayı; her kararı kaynağa ve rapor paydasına bağlamayı anlatır.

Yöntem, tek bir araştırma sorusu ya da tek bir geri bildirim formundan gelen yanıtlarla sınırlı tutulmalıdır. Birden fazla soru, dönem veya hedef kitleyi aynı tabloda birleştirmek karşılaştırmayı kolaylaştırıyor gibi görünse de farklı bağlamları birbirine karıştırabilir. Çalışma başlamadan önce hangi sorunun, hangi tarih aralığının ve hangi yanıtların kapsamda olduğu yazılı hale getirilir. Kullanılacak yapay zekâ aracı ise yalnızca taslak eşleştirmeye yardımcı olur; anlamı yorumlama, tema sözlüğünü onaylama ve sonuçları raporlama sorumluluğu araştırmacıda kalır.

Önce sayılacak birimleri tanımlayın

Analize başlamadan önce “yanıt”ın ne olduğunu belirleyin. Formun her gönderimi bir yanıt birimi olabilir; aynı form içindeki birden çok açık uçlu soru ise ayrı yanıt alanlarıdır. Çalışmanız bunları birleştirecekse bunu önceden söyleyin. Örneğin, bir kişinin üç ayrı soruya verdiği metinleri tek bir uzun paragrafta toplamak, hangi ifadenin hangi soruya karşılık geldiğini kaybettirir. Her kayıt kalıcı ve kişisel bilgi içermeyen bir kimlik almalı; soru numarası ile kayıt kimliği ayrı sütunlarda korunmalıdır.

İkinci birim “tema işareti”dir. Bir kayıt belirlenen kurallara göre sıfır, bir veya birden fazla temayla eşleşebilir. Dolayısıyla yanıt başına tek tema seçmek zorunlu değildir. Fakat çoklu eşleşme kabul ediliyorsa tema frekanslarının toplamının yanıt sayısına eşit olması beklenmez. Bu fark bir hata değil, ölçüm tasarımının sonucudur. Raporun başında “yanıt adedi” ile “yanıt-tema eşleşmesi” ayrı terimler olarak tanımlanır; tablo başlıklarında da aynı adlandırma kullanılır.

Yanıt kümesini sabitleyin ve temizliği kaydedin

Kaynak dosyanın salt okunur bir kopyasını saklayın; çalışma tablosunda orijinal yanıtı değiştirmeyin. Her kayıt için kaynak kimliği, soru, ham yanıt, dahil edilme durumu ve varsa dışlama nedeni ayrı alanlarda bulunsun. Boş yanıt, yalnızca noktalama işareti içeren kayıt, konu dışı yanıt ve anlamı çözülemeyen yanıt aynı kategori değildir. Bunları tek bir “geçersiz” kovasına atmak, sonradan kaç yanıtın neden analiz dışında kaldığını açıklamayı zorlaştırır.

Temizleme kararları analiz ilerledikçe değişebilir. Bu yüzden her kararın tarihi, kuralı ve değiştirdiği kayıt sayısı not edilir; önceki sürüm silinmez. Düzeltme veya kopya tespiti yaparken iki metnin aynı kişiden geldiğini varsaymayın. Aynı ifade birden çok kayıt içinde bulunabilir; tekrar, veri kalitesi incelemesi için bir işaret olabilir ama tek başına kayıtları silme gerekçesi değildir. Kapsam dışı bırakma kararı, kaynağa bakılarak ve önceden belirlenmiş ölçüte göre verilir.

Tema sözlüğünü bir kod kitabına dönüştürün

Tema adları yalnızca etiket olmamalı; her birinin ne zaman kullanılacağını ve ne zaman kullanılmayacağını açıklayan kısa bir kod kitabı bulunmalıdır. Tanım, kapsama giren örnek ifade türlerini, benzer görünen fakat farklı kodlanacak durumu ve belirsizlik halinde izlenecek yolu içermelidir. Örnek cümleler gerçek katılımcı verisi yerine sentetik olarak hazırlanabilir. Gerçek yanıt kullanılacaksa kimlik ve özel ayrıntılar kaldırılmalı; örneklerin raporda yayımlanıp yayımlanmayacağı ayrıca kararlaştırılmalıdır.

Başlangıçta tema sayısını küçük ve işlevsel tutun. Her farklı kelimeyi ayrı tema yapmak, yorumlaması güç uzun bir liste doğurur. Bunun karşıtı olan aşırı geniş kategoriler ise farklı ihtiyaçları tek başlıkta saklar. Bir tema yeni bir karar, eylem veya anlam taşıyorsa ayrıştırılabilir; yalnızca farklı ifade biçimlerini kapsıyorsa mevcut tanım altında kalabilir. Kod kitabının sürüm numarası ve değişiklik özeti tutulur. Bir tanım değiştiğinde eski kayıtların yeni kurala göre yeniden gözden geçirilmesi gerekir; aksi halde aynı tema etiketi dönem içinde farklı anlamlara gelir.

Yapay zekâdan sınırlı bir eşleştirme taslağı isteyin

Modele tüm arşivi vermek yerine, onaylı tema sözlüğünü ve gerekli bağlamı içeren küçük bir örnek üzerinde yöntemi sınayın. İstem; her yanıt için kaynak kimliğini korumasını, yalnız sözlükteki tema adlarını kullanmasını, her eşleşme için destekleyici kısa ifadeyi göstermesini ve belirsiz kaldığında yeni tema uydurmak yerine “inceleme gerekli” demesini istemelidir. Yanıtta tema gerekçesi, güven düzeyi ve önerilen işlem alanları bulunabilir; ancak otomatik puan veya kesinlik dili, kanıt yerine geçmez.

İstem, modele katılımcının niyetini bildiğini iddia ettirmemelidir. Yalnız metinde açıkça görülen ifadeler kullanılmalı; ima, ironi veya bağlam eksikliği varsa belirsizlik belirtilmelidir. Kısa yanıtlar, birden fazla konu içeren uzun yanıtlar ve tema sözlüğünde karşılığı olmayan örnekler özellikle sınanmalıdır. Bu yaklaşım yapay zekâdan alınan her temayı doğru kabul etmez; modelin hangi hata türlerini üretebildiğini ortaya çıkarır. Üretim aşamasında da örneklem üzerinden düzenli insan kontrolü yapılır.

Çoklu tema kuralını açıkça uygulayın

Bir yanıt birden çok temayla eşleşebilir; fakat aynı tema o yanıt içinde tekrarlandığında, raporlama birimi yanıt ise o tema için yalnız bir kez sayılır. Kod kitabında bu kuralı açıkça yazın. “Yanıt × tema” tablosunda her kaynak yanıt kimliği ile tema çifti tekil olmalı; aynı çift ikinci defa çıkarsa birleştirme veya inceleme kuralı uygulanmalıdır. Buna karşın aynı yanıtın iki farklı temaya eşleşmesi iki ayrı satırda korunabilir.

İnsan incelemesini riskli örneklere yöneltin

Her eşleşmenin tam metnini tekrar tekrar okumak zaman alabilir; ancak yalnızca modelin önerdiği sonucu onaylamak da yeterli değildir. İlk olarak belirsiz, birden fazla temaya atanan, kod dışı bırakılan ve sözlükte olmayan yeni ifade içeren kayıtlar incelenebilir. İkinci bir değerlendirici, aynı kuralları kullanarak seçilen kayıtları bağımsız kodlayabilir. Uyuşmazlıklar “çoğunluk ne dedi?” diye kapatılmamalı; hangi tanımın, bağlamın veya örneğin belirsizliği yarattığı belirlenip kod kitabına işlenmelidir.

Paydaları ve raporlama dilini ayırın

Bir temayı içeren yanıtların oranı hesaplanacaksa paydanın hangi birimlerden oluştuğu açıklanmalıdır: gelen tüm yanıtlar mı, analize dahil edilen yanıtlar mı, yoksa yalnızca bir soruyu boş bırakmayan kayıtlar mı? Tema başına yanıt oranı, o temayla eşleşen farklı yanıt kimliklerinin seçilmiş paydaya bölünmesiyle hesaplanır; yüzde olarak raporlanacaksa bulunan oran 100 ile çarpılır. Tema eşleşmesi toplamı ise tekil yanıt-tema çiftlerinin adedidir. Bunlar farklı ölçülerdir; aynı tabloda ikisini gösteriyorsanız başlıkları ve açıklama notlarını karıştırmayın.

Bir yanıtın birden çok temaya girmesi nedeniyle tema yüzdelerinin toplamı yüzde yüzü aşabilir. Yüzdelerin toplamını zorla yüz yapacak biçimde normalleştirmek, ölçünün anlamını değiştirir. Eğer “temaların kendi içindeki dağılımı” gibi farklı bir analiz yapılacaksa payda ve birim ayrıca tanımlanmalı, yanıt oranıyla aynı başlık altında sunulmamalıdır. Küçük veya sınırlı bir geri bildirim kümesinden bütün müşteriler, kullanıcılar ya da pazar hakkında genelleme yapılmamalıdır. Nitel tema sıklığı tek başına neden veya önem kanıtı değildir.

Basit bir bağımsız kontrol kurun

Son rapordan önce, yanıt-tema tablosundaki benzersiz kaynak kimliklerini sayarak temaya giren yanıt adedini ayrı hesaplayın. Her tema için önce yinelenen aynı yanıt-tema çiftlerini tespit edin; sonra farklı yanıt kimliklerini sayın. Genel eşleşme adedi ile farklı yanıt adedini aynı sütuna yazmayın. Boş, kapsam dışı ve inceleme bekleyen kayıtların sayısı da toplam denetiminde ayrı gösterilebilir. Bu kontrol bir yazılım aracına bağlı değildir; tablo filtreleri veya bağımsız bir hesap yöntemi yeterlidir.

Raporlama tablosu en az tema adı, tanımı, farklı yanıt adedi, eşleşme adedi, seçilmiş payda, karar durumu ve kod kitabı sürümünü içerebilir. Örnek alıntılar paylaşılacaksa kimliksizleştirme ve yayın izni ayrıca kontrol edilir. Bir tema adı sonradan değiştiyse eski sürümdeki sayılar yeni tanımın sonucu gibi sunulmamalıdır. Sonuç sayfası, kullanılan kapsamı ve belirsizlikleri kısa bir yöntem notuyla açıklar. Bu not, sayının neyi anlattığını okuyucuya gösterir ve farklı dönemleri karşılaştırmayı mümkün kılar.

Yöntemin sınırlarını raporda belirtin

Bu yaklaşımın sınırı da açık olmalıdır. Tema adları araştırmacının çerçevesini yansıtır; farklı bir kod kitabı farklı bir düzenleme üretebilir. Model, ifadeyi bağlamından koparabilir veya sözlükte olmayan bir anlamı mevcut temaya zorlayabilir. İnsanlar da aynı metni farklı yorumlayabilir. Bu nedenle rapor, ölçümü kesin bir duygu, niyet veya bütün kitlenin görüşü gibi sunmamalıdır. Amaç kusursuz bir otomatik sınıflandırma değil, kararların kaynağa geri dönerek gözden geçirilebildiği tutarlı bir çalışma düzenidir.

Bu konuyu daha geniş iş akışı içinde görmek için yapay zekâ önerileri hizmet yaklaşımına bakabilirsiniz. Yapay zekâ destekli sınıflandırmada her öneriyi kaynak talebe bağlayan örnek, gelen talebi ekip içinde sınıflandırma rehberinde ele alınır. Yinelenen ifadeler ile farklı kayıtları ayırmaya ilişkin pratik, yorumları içerik fikrine dönüştürme yazısında bulunur. Tablo alanlarını doğrulama ve beklenmeyen değerleri eleme yaklaşımı için şema ve alan kontrolü rehberini inceleyebilirsiniz.

Sık Sorulan Sorular

Bir yanıt iki veya daha fazla temaya atanabilir mi?

Evet. Kod kitabı izin veriyorsa her farklı tema ayrı satırda, aynı kaynak yanıt kimliğiyle tutulur. Yanıt adedi ve eşleşme adedi farklı ölçülerdir; rapor bunları ayırmalıdır.

Bir tema aynı yanıtta birkaç kez anılıyorsa kaç kez sayılmalı?

Rapor birim olarak yanıtı kullanıyorsa aynı tema için aynı yanıt kimliği bir kez sayılır. Aynı tema tekrarı, o temaya ikinci bir katılımcı veya ikinci bir yanıt eklemez. Metindeki tekrarlar analitik açıdan not edilebilir, ancak frekans hesabında yinelenen kaynak-yanıt-tema çifti çoğaltılmamalıdır.

Tema eşleşmelerinin toplamı neden yanıt sayısından fazla olabilir?

Çünkü bir yanıt birden çok temaya katkı sağlayabilir. Örneğin tek kayıt iki temayla kodlanırsa yanıt adedi bir, eşleşme adedi ikidir. Bu durum çoklu kodlama kuralının beklenen sonucudur. Yanıt oranı veya tema yüzdesi raporlanırken payda ve sayım birimi ayrıca açıklanmalıdır.

Boş ve belirsiz yanıtları nasıl ele almalıyım?

Boş, konu dışı ve anlamı belirsiz yanıtları ayrı durumlar olarak kaydedin. Belirsiz bir yanıtı zorla mevcut temalardan birine atamak yerine inceleme kuyruğuna alabilirsiniz. Dahil edilme ölçütü önceden belirlenmeli; dışlama nedeni ve kayıt adedi raporlanabilir olmalıdır.

Yapay zekâ çıktısını doğrudan rapora alabilir miyim?

Hayır. Çıktı yalnızca öneri veya ilk eşleştirme taslağıdır. Her öneri kaynak yanıt kimliği ve destekleyici ifadeyle karşılaştırılmalı; belirsiz eşleşmeler insan tarafından incelenmelidir. Toplamlar ayrı bir tablo hesabıyla yeniden üretilmeli, modelin yazdığı sayı doğrulama yerine geçmemelidir.

Tema listesi analiz sırasında değişirse ne yapmalıyım?

Kod kitabını sürümleyin, değişiklik gerekçesini kaydedin ve değişen tanımdan etkilenebilecek eski kayıtları yeni kurala göre yeniden inceleyin. Önceki dosyayı silmeyin; hangi sonuçların hangi tema tanımıyla üretildiği izlenebilir kalsın. Sürüm farkını yöntem notunda da belirtin.

Bir temanın yüzdesi nasıl hesaplanır?

Önce paydanın hangi yanıt kümesi olduğunu açıklayın; ardından ilgili temayla eşleşen farklı kaynak yanıt kimliklerini sayın. Bu adedi seçilmiş paydaya bölüp 100 ile çarpın. Aynı yanıt-tema çiftini çoğaltmayın. Çoklu kodlama nedeniyle farklı tema yüzdelerinin toplamının yüzde yüzü aşabileceğini rapor notunda söyleyin.

Bu sayılar bütün müşteri kitlesinin görüşünü gösterir mi?

Hayır; yalnızca belirtilen soru, dönem ve analiz kapsamındaki yanıtları özetler. Örneklem yöntemi ayrıca değerlendirilmeden sonuçlar tüm müşterilere, kullanıcılara veya pazara genellenmemelidir. Tema sıklığı, tek başına önem, neden veya gelecekteki davranış kanıtı değildir.