ChatGPT’nin verdiği kaynaklar gerçek mi, nasıl anlarsınız?

ChatGPT’nin verdiği kaynakları doğrularken üç şeyi ayrı kontrol edin: Kaynak gerçekten var mı, içindeki bilgi aktarılan iddiayı destekliyor mu ve doğru dönemle gruptan mı söz ediyor? Bir bağlantının açılması bu üç kontrolün tamamlandığı anlamına gelmez. Kaynağı açın, ilgili cümleyi veya tabloyu bulun ve kendi yazacağınız ifadeyle karşılaştırın. Belgenin yalnız adı verilmişse kurum, yazar ve yayın bilgisiyle asıl sayfayı arayın.

Bir sunumda “araştırmaya göre” diye başlayan cümle kullanmak kolaydır. Fakat kaynağı incelemediğinizde yanlış bilgiye araştırma görünümü kazandırabilirsiniz. Gelin bu kontrolü gerçek bir rapor üzerinden düşünelim.

Kaynak listesi ile kanıt listesi aynı şey değildir

Yapay zeka yanıtının sonunda beş bağlantı bulunabilir. Bu bağlantıların her biri paragraftaki bütün iddiaları desteklemek zorunda değildir. Bir sayfa yalnız genel konudan söz ederken başka bir sayı farklı bir belgeden alınmış olabilir. Liste uzun olsa da hangi cümlenin hangi kaynağa dayandığı belirsiz kalabilir.

ABD’nin standartlar kurumu NIST’in üretken yapay zeka risk profili, güvenle sunulabilen yanlış içerik riskini ele alıyor. Kaynak görünümündeki bir metni de bu kontrolün dışında tutmayın.

İlk adımınız yanıtı küçük iddialara bölmek olsun. “Ofis çalışanları çok fazla e-posta alıyor ve bu durum verimliliği belirli oranda düşürüyor” cümlesinde en az iki ayrı iddia var: e-posta miktarı ve etkisi. Aynı rapor ilk bilgiyi verirken ikinci oranı hiç ölçmemiş olabilir.

Yapay zekadan kaynak göstermesini isterken “Her önemli iddia için ilgili belgeyi ve bölümü ayrı yaz” diyebilirsiniz. Bu, incelemeyi kolaylaştırır; üretilen eşleştirmeyi yine sizin kontrol etmeniz gerekir.

Gerçek bir raporda kapsam hatasını görün

Microsoft’un Breaking down the infinite workday raporu, Microsoft 365 kullanım sinyalleri üzerinden iş günündeki e-posta ve mesajları inceliyor. Raporda günlük ortalama 117 e-posta bilgisi yer alıyor. Bu sayıyı “Türkiye’deki her ofis çalışanı günde 117 e-posta alıyor” diye yazmak, raporun kapsamını değiştirmek olur.

Şöyle bir durum düşünün: Bir çalışan ekip içi sunumda dijital yoğunluğu anlatacak. Yapay zekanın hazırladığı taslakta Türkiye’ye aitmiş gibi yazılmış bu cümleyi görüyor. Kaynağı açınca ülke iddiasının bu bilgiyle desteklenmediğini fark ediyor. Cümleyi kaynak kapsamına göre düzenliyor veya kendi ekibinin e-posta yoğunluğunu ayrıca ölçmeye karar veriyor.

Burada bağlantı gerçek, konu ilgili ve sayı kaynakta mevcut. Buna rağmen sunuma girecek cümle uygun değil. Kaynak doğrulama yalnız sahte bağlantıları bulmak değildir; gerçek kanıtın gereğinden geniş anlatılmasını da önler.

Bu örnekten üç mesaj çıkar: Sayının hangi gruptan geldiğini bulun. Yer ve dönem eklerken bunların kaynakta olup olmadığını kontrol edin. Başka bir gruptaki gözlemi kendi kurumunuzun ölçülmüş sonucu gibi sunmayın.

Başlık ve adres eşleşmesini kontrol edin

Kaynak bir araştırma ise başlık, yazarlar, yayın yılı ve dergi adı birbiriyle tutarlı mı? Kurum raporuysa belgenin kurumun resmi sayfasındaki kaydını bulun. Bir ürün özelliği için satıcının güncel dokümanını inceleyin. Aynı başlığı başka bir yerde görmek, tek başına asıl kaynağı bulduğunuz anlamına gelmez.

Bağlantı bozuksa kaynak adını doğrudan arayabilirsiniz. Fakat benzer başlıklı ilk sonucu özgün belgenin yerine koymayın. Özellikle araştırmalarda farklı tarihli sürümler veya benzer çalışmaları anlatan özetler bulunabilir.

DOI gibi kalıcı araştırma tanımları yardımcı olur; onların da başlık ve yazarlarla eşleşmesini kontrol edin. Yapay zekanın düzgün görünen bir tanım yazması, o tanımın doğrulanmış olduğu anlamına gelmez.

İlgili cümleyi belge içinde bulun

Uzun belgede yalnız giriş paragrafını okumak yeterli olmayabilir. Sayının geçtiği tabloyu, şekli veya açıklamayı bulun. Başlığın yanında yer alan dipnot, kapsamı değiştirebilir. Ölçüm birimi de önemlidir: toplam kullanıcı sayısı, aktif kullanıcı sayısı ve ankete yanıt veren kişi sayısı aynı ölçü değildir.

Bir çalışma sonucunu aktarırken kullanılan ifadeyi kendi cümlenize çevirebilirsiniz; ancak anlamı koruyun. “Katılımcılar zaman kazandığını söyledi” ile “Araştırma her görevde zaman kazancı ölçtü” farklı iddialardır. Kaynağın yaptığından daha güçlü bir ölçüm varmış gibi anlatmayın.

Raporda bir şirket örneği bulunması da genel başarı garantisi değildir. O şirketteki koşulları görmek, sizin işinizde neyi deneyeceğinize fikir verebilir. Sonucu kendi uygulamanızla değerlendirmeniz gerekir.

Araştırmanın hangi kararınıza yardım edeceğini belirlemek için doğru iş sorusunu yazma yaklaşımını kullanabilirsiniz. Belirsiz bir amaç, çok sayıda ilgili görünen fakat işe yaramayan kaynak biriktirmenize yol açabilir.

Kısa bir kaynak kontrol notu tutun

Kontrolü her seferinde baştan yapmamak için küçük bir kayıt hazırlayın:

Bu kayıt uzun bir akademik arşiv olmak zorunda değildir. Özellikle sayı içeren iki sunum cümlenizi izlemek için beş satır yeterli olabilir. Kaynak kaydını sunumunuzu daha uzun yapmak için değil, gerektiğinde bilgiyi yeniden bulmak için kullanın.

Kanıtı bulamadığınız cümleyi “muhtemelen doğrudur” diye taşımayın. Ya destekleyen kaynak bulun ya da cümleyi çıkarın. Bilgiyi daraltmak, güçlü görünen fakat açıklayamadığınız bir iddiayı sunmaktan daha yararlıdır.

Son metni hazırlarken Minto piramidiyle ana mesajı kurma yazısını kullanabilirsiniz. Doğrulanan kanıtlar, ana mesajın gerekçelerini taşır; kaynak sayısı mesajın yerine geçmez.

Bu hafta kullandığınız bir yapay zeka yanıtından üç kaynak seçin. Her bağlantıyı açın ve iddiayı belge içinde bulun. Kaynakla çalışma alışkanlığınızı kariyerinizdeki rapor ve sunum işlerine taşımak için kurs programını inceleyebilirsiniz.

Sık sorulan sorular

Bağlantı açılıyorsa kaynak gerçek sayılır mı?

Sayfa gerçek olabilir; aktarılan iddiayı desteklemeyebilir. Başlık, tarih ve ilgili bölümü de kontrol edin. Kaynak varlığı, cümlenin doğruluğunu tek başına göstermez.

Kaynağın yalnız başlığı verilmişse ne yapmalıyım?

Yazar, kurum, yıl veya DOI bilgisiyle asıl kaydı arayın. Benzer başlıklı başka bir belgeyi sessizce onun yerine kullanmayın.

Çok eski bir kaynak hiç kullanılamaz mı?

Yöntem veya tarihsel olay için kullanılabilir. Güncel ürün özelliği, kurum görevi veya bugünkü fiyat gibi değişen bilgilerde yeni bir kaynak gerekir.

Kaynak sayısını artırmak yazıyı daha güvenilir yapar mı?

Ancak kaynaklar ilgili iddiaları gerçekten destekliyorsa. Birkaç uygun kaynağı açık biçimde kullanmak, incelenmemiş uzun bir listeden daha anlaşılırdır. Kaynağın hangi soruyu yanıtlaması gerektiğini iş sorusuyla netleştirebilirsiniz.