“En iyi yapay zekâ programı” sorusuna, kullanım amacı ve çalışma koşulları belirlenmeden tek bir isimle yanıt vermek yanıltıcı olur. Bir ekip için hızlı taslak üretmek öncelikliyken başka bir ekip için kaynak gösterebilmek, dosyayı dışarı aktarmak veya insan denetimini kolaylaştırmak daha önemli olabilir. Seçim öncesinde yapılabilecek en yararlı iş, birkaç adayı aynı küçük görev paketinde sınamak ve hangi koşulda denemenin durdurulacağını baştan yazmaktır.

Bu rehber belirli bir ürünün güncel özelliklerini ya da sıralamasını iddia etmez. Kurum içinde kullanılabilecek bir pilot değerlendirme yöntemi anlatır. Aynı girdi, aynı görev tanımı ve aynı puanlama cetveli kullanılmadığında, sonuçtaki farkın programdan mı yoksa deneme biçiminden mi kaynaklandığını anlamak güçleşir. Pilotun amacı bütün olası kullanımları kanıtlamak değil, tanımlanmış bir işte hangi adayın daha güvenli ve işe yarar bir başlangıç sunduğunu görmektir.

Önce kararın sınırını yazın

İlk satırda hangi işin değerlendirildiğini belirtin: örneğin, onaylanmış şirket notlarından ilk yanıt taslağı oluşturmak, uzun bir metindeki belirli bilgileri bulmak veya bir tabloyu önceden tanımlı alanlara ayırmak. “İşleri kolaylaştırma” gibi geniş bir hedef sınanabilir değildir. Görevin başlangıç girdisini, beklenen çıktıyı, çıktıyı kullanacak kişiyi ve son kararı kimin vereceğini açıkça yazın. Pilot, çalışanın yerine karar vermeyi değil, belirli bir adımı destekleyip desteklemediğini anlamayı hedeflemelidir.

İş tanımıyla birlikte kapsam dışını da kaydedin. Bir taslak, kendiliğinden müşteriye gönderilecek nihai yanıt sayılmaz; bir sınıflandırma sonucu da resmî kayıt veya insan kararı yerine geçmez. Yanlış bir çıktının etkisi düşük, orta veya ciddi olabilir. Örneğin yazım biçimindeki bir tutarsızlık kolayca düzeltilebilirken, yanlış kişiye ait bilginin kullanılması daha ciddi bir inceleme gerektirir. Bu ayrım, her hataya aynı puanı vermeyi önler.

Aynı görev paketini hazırlayın

Karşılaştırmaya başlamadan önce küçük ama temsil edici bir örnek paketi oluşturun. Pakette sıradan örneklerin yanında eksik bilgi, çelişen ifade, alışılmadık biçim ve yanıt verilememesi gereken bir durum da bulunsun. Örnekleri yalnızca kolay başarı gösterecek şekilde seçmek, gerçek kullanımdaki belirsizliği gizler. Her örneğin hangi sonucu beklediğini ve kabul edilebilir yanıt sınırını pilot başlamadan belirleyin; adayların çıktısını gördükten sonra ölçütleri değiştirmeyin.

Gerçek kişisel veya ticari verileri kullanmak zorunlu değilse, deneme için uydurulmuş ve hassas bilgi içermeyen örnekler seçin. Gerçek veri gerekiyorsa erişim yetkisi, yükleme koşulları, saklama ve silme süreci kurumun yetkili kişileri tarafından önceden incelenmelidir. Bu metin belirli bir hizmetin gizlilik veya güvenlik niteliği hakkında güvence vermez. Program seçerken veri paylaşımının nerede başladığını ve kullanıcının hangi bilgileri girmemesi gerektiğini ayrıca değerlendirin. Bu konuda daha geniş çerçeve için hesap ve paylaşım ayarlarını önceden kontrol etme rehberine bakabilirsiniz.

Her adaya aynı talimatı verin. Talimatta rolü, kullanılmasına izin verilen kaynakları, çıktı biçimini, belirsizlikte izlenecek yolu ve yasak kararları belirtin. Bir adayda uzun ve ayrıntılı yönerge, diğerinde tek cümle kullanılırsa karşılaştırma adil olmaz. Girdi veya talimat değişmek zorundaysa değişikliği kaydedin ve aynı değişikliği bütün adaylara uygulayın. Böylece sonuç, denemeyi yapan kişinin farkında olmadan yaptığı ayarlardan daha az etkilenir.

Kabul ölçütlerini puandan önce tanımlayın

Ölçütleri, ekibin işine göre beş başlıkta yazabilirsiniz: görevi tamamlama, kaynakla doğrulanabilirlik, hata türleri, düzenleme kolaylığı ve iş akışına uyum. Her başlığa “geçti”, “inceleme gerekiyor” veya “kaldı” gibi anlaşılır bir durum verin. Yüzde veya istatistik üretmek şart değildir; küçük bir pilotta örnek sayısı azsa tek bir oran olduğundan daha kesin görünebilir. Sonuçları örnek bazında kaydetmek ve başarısızlık nedenini açıklamak daha dürüst olabilir.

Görev başarısında yalnızca düzgün görünen bir yanıtı değil, talimatın tamamlanıp tamamlanmadığını kontrol edin. Kaynakla doğrulanabilirlikte, önemli ifadelerin izin verilen girdiye bağlanıp bağlanmadığına bakın. Hata türlerinde uydurma ayrıntı, atlanan koşul, yanlış sınıflandırma ve belirsizliği gizleme gibi gözlenebilir durumları ayırın. Düzenleme kolaylığı, çıktının sorumlu çalışan tarafından ne ölçüde anlaşılabildiğini ve düzeltilebildiğini kapsar. İş akışına uyum ise dosyanın gereken biçimde alınması, gözden geçirilmesi ve saklanması gibi pratik adımları içerir.

Bir adayın toplam puanı yüksek olsa bile tek bir ciddi hata türü kabul edilemez olabilir. Bu nedenle kritik hata için ayrı bir “durdur” koşulu belirleyin. Örneğin örnek veri dışından kişisel bilgi eklenmesi, kaynağı olmadığı hâlde kesin ifade kullanılması veya insan onayı gereken bir kararı verilmiş gibi sunması, pilotu durdurup olayı incelemeyi gerektirebilir. Durdurma kuralını baştan yazmak, olumlu görünen birkaç sonuç uğruna riskli bir örneği görmezden gelmeyi zorlaştırır.

Deneme düzenini tekrarlanabilir kılın

Her denemede tarih, adayın görünen sürüm veya plan bilgisi, kullanılan talimat, girdi paketi ve çıktı dosyasının yerini kaydedin. Bir ayar değiştirilirse önceki çıktıyı sessizce yenisiyle değiştirmeyin; iki denemeyi ayrı tutun. Programların arayüzü veya çalışma biçimi zamanla değişebileceği için, sonuç yalnızca kaydedilen deneme koşulunu anlatır. Bu yüzden “bu araç her zaman böyle çalışır” sonucu çıkarmayın. Belirli sürümlerin sabit örneklerle yeniden sınanması için sürüm değişikliğinde karşılaştırma yöntemini inceleyebilirsiniz.

Çıktıları mümkünse aday adını puanlayan kişiden saklayın veya en azından değerlendirmeyi yapan kişinin kullandığı programı bilmesini sınırlayın. Küçük ekiplerde tam kör değerlendirme uygulanamayabilir; bu durumda ölçütleri önceden yazmak ve iki kişinin örnekleri ayrı ayrı incelemesi yanlılığı azaltabilir. Görüş ayrılığı çıktıyı “başarısız” saymak için otomatik gerekçe değildir; hangi kuralın farklı yorumlandığını kaydetmek gerekir. Bir örnek üzerinde anlaşamamak, ölçütlerin yeterince açık olmadığını da gösterebilir.

İnsan incelemesinin nerede ve kim tarafından yapılacağını iş akışına ekleyin. Örneğin model taslağı üretir, sorumlu çalışan kaynakla karşılaştırır, gerekli düzeltmeyi yapar ve ancak ondan sonra kurumun normal onay kanalına gönderir. Rolleri ve kontrol noktalarını ayırma konusunda ekip içi kaynak, yorum ve düzenleme sınırlarını sınayan rehber yardımcı olabilir. Üretim adımını ölçmek için kullanılacak iş birimi de önceden tanımlanmalıdır; kabul edilen teslim başına maliyet bunu ayrı bir açıdan ele alır.

Karar notunu yalnızca bulgularla tamamlayın

Pilot sonunda her aday için hangi örneklerin geçtiğini, hangilerinin ek inceleme istediğini ve hangi koşulda kaldığını yan yana gösterin. Ardından karar seçeneklerini sınırlı tutun: tanımlanan iş için kontrollü devam, belirli bir düzenlemeyle yeniden deneme veya kullanmama. Bir aday yalnızca bazı örneklerde başarılı olduysa, bu bulguyu bütün görev ailesine genellemeyin. Hangi kullanıcıların, hangi veri türlerinin ve hangi onay adımlarının kapsam dışında kaldığını not edin.

Devam kararı, otomatik olarak kurum genelinde kullanıma açma anlamına gelmez. Bir sonraki aşamayı küçük ve yetkili bir grupla başlatmak, izlenecek sorumluyu belirlemek ve geri alma yolunu kaydetmek gerekir. Pilot sırasında erişim sorunu, beklenmedik veri kullanımı veya sonuçların denetlenememesi ortaya çıkarsa çalışma durdurulmalı ve yetkili ekip değerlendirmelidir. Deneme sonucunu, gizlilik veya mevzuat uygunluğu için tek başına kanıt saymayın.

Bir seçim belgesi kısa olabilir; önemli olan gözlemi, yorumu ve kararı birbirinden ayırmasıdır. “Örnek 4’te kaynak belirtilmedi” gözlemdir; “aday bu iş için riskli olabilir” yorumdur; “başka bir küçük deneme yapılacak” karardır. Bu satırları ayrı tutmak, okuyucunun sonucu yeniden değerlendirmesini sağlar. Deneme dosyalarını saklama ve erişim kuralları da aynı belgede gösterilmelidir. Böylece ekip, sonraki değerlendirmede hangi bulgunun hangi koşulda oluştuğunu görebilir.

Bu çerçeve, en iyi programı herkes için ilan etmez; belirli bir iş için kanıt toplayıp seçimi açıklanabilir hâle getirir. Kurum içinde yapay zekâ kullanımını planlarken dijital pazarlama hizmeti sayfasındaki çalışma kapsamıyla da bağlantı kurabilirsiniz. Ürün veya sürüm hakkında kesin karar vermeden önce kendi deneme şartlarınızı ve yetkili inceleme gereksinimlerini doğrulayın.

Sık sorulan sorular

Bir programı “en iyi” ilan etmek için kaç örnek gerekir?

Herkes için geçerli sabit bir örnek sayısı yoktur. Küçük pilot, ilk eleme ve önemli hata türlerini fark etme aracıdır; geniş kullanımın her koşulda güvenli olduğunu kanıtlamaz. Örnekleri işin çeşitliliğine göre seçin, eksik ve belirsiz durumları ekleyin, kapsamı açıkça yazın. Az örnekten çıkan sonuçları sınırlı tutun ve karar öncesi daha geniş doğrulama gerekiyorsa bunu ayrıca planlayın.

Aday programlara aynı istemi vermek yeterli midir?

Tek başına yeterli değildir. Görev girdisi, izin verilen kaynaklar, çıktı biçimi, hesap ayarları ve deneme koşulları da mümkün olduğunca aynı olmalıdır. Farklı koşullar zorunluysa değişiklikleri kaydedin. Bir adayın daha ayrıntılı yönerge alması sonucu etkileyebilir; bu nedenle talimatı ve örnekleri sürümlü tutun ve tüm adaylarda aynı sürümü kullandığınızı kontrol edin.

Başarı puanını kim belirlemelidir?

İşi ve hata sonuçlarını bilen sorumlu kişiler, pilot başlamadan ölçütleri belirlemelidir. Ölçütler gözlenebilir davranış tarif etmelidir: kaynak gösterme, zorunlu alanı doldurma veya belirsizlikte yanıtı insana bırakma gibi. Yalnızca beğeni puanı ya da akıcı anlatım, işin doğru yapıldığını kanıtlamaz. Farklı değerlendiriciler varsa anlaşmazlıkların nasıl kaydedileceğini de önceden belirleyin.

İnsan incelemesi pilotta hangi noktada yapılır?

İşin riskine göre değişir; ancak karar veya dış iletişim doğuran adımlardan önce sorumlu bir kişinin kontrolü açıkça yer almalıdır. İnceleyen kişi, çıktıyı kaynakla karşılaştırabilmeli, hatayı düzeltebilmeli ve gerektiğinde süreci durdurabilmelidir. İncelemenin kimde olduğu, hangi kanıta bakacağı ve onayın nerede kayda gireceği belirtilmezse “insan kontrolü var” ifadesi uygulanabilir bir güvence oluşturmaz.

Gerçek müşteri veya çalışan verileriyle deneme yapılmalı mı?

Yalnızca değerlendirme için gerçekten gerekiyorsa ve yetkili kişiler erişim, paylaşım, saklama ve silme şartlarını önceden onayladıysa düşünülmelidir. İlk elemede hassas bilgi içermeyen örnekler tercih edilebilir. Herhangi bir veriyi programa yüklemenin uygun olduğu varsayılmamalıdır. Bu rehber belirli bir sağlayıcının veri işleme şartlarını değerlendirmez; kurumun kendi kural ve sözleşmeleri ayrıca incelenmelidir.

Bir aday toplam puanda öndeyken kritik bir hata yaptıysa ne yapılır?

Başta tanımlanan kritik hata kuralını uygulayın; toplam puan ciddi bir riski görünmez kılmamalıdır. Denemeyi durdurun, örneği ve koşulları kaydedin, yetkili kişilerin incelemesini bekleyin. Sonradan hatayı “küçük” sayıp eşiği değiştirmek sonuçları taraflı hâle getirir. Yeniden deneme yapılacaksa hangi düzeltmenin sınanacağı ve önceki başarısızlığın nasıl ele alınacağı açıkça yazılmalıdır.

Pilot başarılıysa programı hemen bütün ekibe açabilir miyiz?

Başarılı örnekler yalnızca tanımlanan görev ve koşulları destekler. Kullanıcı sayısı, veri türü veya iş adımı değiştiğinde yeni riskler doğabilir. Kontrollü devam kararı verildiğinde kapsamı küçük tutun, yetkili kullanıcıları ve sorumluyu belirleyin, geri alma yolunu hazırlayın. Erişim ve veri kuralları doğrulanmadan pilot bulgularını kurumsal kullanıma geçiş onayı olarak görmeyin.

Programın özellikleri veya sürümü değiştiğinde eski sonuçlar geçerli kalır mı?

Eski rapor, yalnızca kaydettiğiniz önceki deneme koşullarının bulgusudur. Program, ayar, talimat veya girdi değiştiğinde önemli örnekleri yeniden çalıştırmak ve farkları kaydetmek gerekir. Hangi sürümün denendiği bilinmiyorsa bulguyu tekrarlamak güçleşir. Karar notunda sürüm veya plan bilgisi görünmüyorsa, bu eksikliği gidermeden eski sonucu güncel performans kanıtı gibi sunmayın.