İntihal tespitinde kullanılan yazılımlar ne kadar güvenilir?
İntihal, İngilizcede karşılığı “Plagiarism” olan ve maalesef birçok alanda olduğu gibi akademik alanda da çok yaygın olarak başvurulan bir sahtekârlık türüdür. Akademik çıktıların çarpıtılmasına neden olarak akademik bütünlüğe zarar verir. Bilmeden veya yanlışlıkla yapılabileceği gibi kasıtlı da olabilir. Derin kökleri olan çok karmaşık bir konudur. O nedenle neyin intihal olup olmadığı ve hangi şartlarda aktarılan bir bilginin intihale gireceği üzerinde de tam bir fikir birliği yoktur. Durum böyle olsa da kasıtlı yapıldığı durumlarda ciddi bir suiistimal olarak kabul edilir. İnternetin yaygınlaşası ve dijital bilgi kaynaklarına ulaşımın çok kolaylaşmasıyla hem öğretim alanında hem de akademik dünyada sıkça karşılaşılan ciddi bir problem haline gelmiştir.
Akademik literatürde intihali tamamen engellemek mümkün görünmese de en azından kontrol altında tutmak ve farkındalığı artırmak için akademik yayıncı kuruluşlar ve dergiler çok sayıda yapay zekâ uygulaması kullanmaktadırlar. iThenticate, Turnitin gibi yazılımlar intihale karşı verilen savaşta kullanılıyorlar. Bu tür yazılımların intihal tespiti yaptığı yaygın olarak düşünülse de aslında durum bundan farklıdır. Gerçekte bu yazılımlar intihal tespiti yapmamaktadır. Onun yerine kapalı algoritmalar kullanarak metin eşleştirmesi yaparlar. Bu eşleştirmeler doğru sonuçlar üretmekle birlikte bazen yanlış sonuçlar da üretebilmektedir. O nedenle bu yazılımların tüm intihal vakalarını tespit edebildikleri kanısı doğru değildir.
İntihal yazılımlarının problemleri
Genel hatlarıyla anlatmak gerekirse, intihal tespiti için kullanılan yazılımlar gönderilen bir metni alır ve internette ve aynı zamanda büyük veri tabanlarında bulunan metinler ile eşleştirirler. Tarama tamamlandığında, metnin bilinen kaynaklara olan benzerlik yüzdesini gösteren bir skor elde edilir. Bu skora bir de ayrıntılı bir rapor eşlik eder. Rapor ayrıca değerlendirmeyi kolaylaştırmak için analiz edilen metni renklendirir. Kopyala yapıştır türünden intihallerin tespitinde oldukça verimli olsalar da atıf yapılmadan kullanılan fikirleri, başka dile çevrilen metinleri, anlamı değiştirmeden kelimeleri ve yerlerini değiştirmek suretiyle yapılan intihalleri bu programlar çoğunlukla algılayamazlar. Şekil ve verilerin izinsiz kullanımını tespit edemezler. İmla hataları, font ve ya stil değişiklikleri ve dijital olmayan metinler de bazen intihal tespitini engelleyebilmektedir.
Bu yazılımların diğer bir problem ise hatalı intihal tespiti yapmaları. Metinlerde bulunan özellikle metot kısmında kullanılan ortak ifadeler, uzun kurum adları veya referans bilgileri intihal olarak işaretlenebilmektedir. Bu durum ancak raporun ayrıntılarına bakıldığında tespit edilebiliyor. İlginç olarak aynı yazılımın aynı metin için farklı zamanlarda ürettiği raporlar birbirlerinden farklı olabilmekte ve aynı metin için farklı yazılımlar farklı sonuçlar üretebilmektedir.
Burada genelde yapılan hata yazılımların ürettiği skoru yeterli bularak hızlı karar vermektir. Hâlbuki yukarıda belirttiğim nedenlerden ötürü intihal olmayan durumlar intihalmiş gibi görünebilmekle beraber gerçek intihaller programların taramasından kaçabilmektedir. Zaman darlığının baskısıyla dergi editörleri ve öğretmenler intihalleri hızlı bir şekilde belirleyip elemek için sadece özgünlük skoruna bakarak karar verebiliyorlar. Doğal olarak bu da mağduriyete neden oluyor. Aslında intihal içermeyen makaleler reddediliyor ve süreç gereksiz yere en azından zaman kaybıyla sonuçlanıyor. Programların zayıf yönlerini bilenler veya bu programları kullanarak öğrenen öğrenciler metinler üzerinde oynama yaparak programları atlatıyorlar. Genelde en çok kullanılan yöntemler, cümlenin kalitesinden ödün vermek pahasına kelimeleri eş anlamlılarıyla değiştirmek; duruma göre aktif cümleyi pasif yapmak ya da tam tersini uygulamak suretiyle yeniden yazmak. Bu işlemlere metin yıkama deniyor. İnternet ortamında metin yıkama işini otomatik olarak yapan uygulamalar bile mevcut. Böylece bariz intihal vakalarında bile programların aldatılması mümkün.
Yaşanmış örnekler
Burada ilginç bir örnekten bahsetmek istiyorum. The Scientist dergisinde yayınlanan bir makalede anlatılana göre, Fransa Ulusal Merkezi De La Recherche Scientifique’de davranış bilimci olarak çalışan Jean-François Bonnefon isimli araştırmacı bir dergiye gönderdiği bilimsel makalesinin bir yazılım tarafından reddedildiğini twitter hesabından paylaşmış. Program, makalenin yöntemler, referanslar ve yazar kurumlarını işaretleyerek intihal tespitinde bulunmuş. Buraya kadar olanlar bu programların hata yapabildiğini bildiğimizden beklenebilecek gelişmeler fakat ilginç olan derginin bu aşamada editör değerlendirmesi yapmayıp intihal tespit işini tamamen programlara havale etmesi. Makale sonuç olarak intihal gerekçesiyle reddedilmiş. Hâlbuki böyle bir aksaklığı bir insan bir iki dakika içerisinde tespit edebilirdi. Bu olayın kamuoyuna yansımasından sonra bir tartışma da tetiklendi. Çok sayıda araştırmacı, bir tek programın raporuna dayanarak makalenin reddedilmesini çok şaşırtıcı bulduklarını, bu hadisenin bazı dergilerin makale değerlendirme sürecini ne kadar kaliteli yürüttüğü hakkında bilgi verdiğini, medyada sıkça yapılan yapay zekâ güzellemelerine rağmen bu tür süreçlerin otomatikleşmekten hala çok uzak olduğunu, bu programların intihal tespitinde çok yararlı olmakla birlikte insani değerlendirmenin yerine geçemeyeceğini belirttiler.
Florida’da ki Moffit Kanser Merkezi’nde kanser epidemiyoloğu olarak çalışan Travis Gerke isimli araştırmacı da benzer bir deneyim yaşadığını belirtmiş. Springer Nature’ın dergilerinden birine gönderdiği bir makalesi intihal raporuyla geri dönmüş. Raporda yazar listesi, atıflar ve hasta onayıyla ilgili standart metin program tarafından işaretlenmiş. Gerke, yaptığı yorumda derginin yazarlardan diğer çalışmaları kopyaladıklarını ve neden intihal etmediklerini açıklamaları gerektiğini isteyen saçma bir rapor göndermelerini garip bularak bunun iyi bir sistem olmadığını belirtiyor. Neyse ki Gerke’nin makalesi Bonefon’nun ki gibi reddedilmemiş ve hala değerlendirme sürecindeymiş.
Daha iyi nasıl olur?
İntihal tespitinde kullanılan programların her ne kadar zayıflıkları ve hata yapma ihtimalleri olsa da problemli metinlerin tespitinde faydalı oldukları şüphe götürmez bir gerçek. Sürecin verimliliğini artırmak öncelikle bu programların ne yaptığının iyi anlaşılmasından geçiyor. Bu programlar intihal olup olmadığına karar vermiyorlar. O kararın bir insan tarafından verilmesi gerekiyor. O nedenle bu programların bir editörün yerini alamayacağının bilinmesi önemli. Analiz edilen metinlerin birden fazla programla analiz edilmesi de hata oranını azaltacaktır. Programlar tarafından üretilen özgünlük skoruyla yetinmeyerek mutlak surette raporun ayrıntılarına bakılması çok önemli. Programların intihal açısından düşük özgünlük skoru verdiği durumlarda metinden alınan parçalarla internette arama yapılarak ve referansları araştırarak intihal olup olmadığı anlaşılabilir. Bu yöntem vakit alsa da metin yıkama yöntemiyle yapılmış intihalleri açığa çıkarmada işe yaramaktadır.
Dergiler ve yayıncı kuruluşlar yayınlanmak üzere gönderilen makaleleri intihal taramasından geçiriyorlar. Örneğin Springer Nature üç aşamalı bir sistem kullanıyor. Makale ilk olarak bir insan tarafından değerlendiriliyor. Sonrasında yazılım kullanılarak tarama yapıyor ve son aşamada tekrar bir insan tarafından kontrol ediliyor. Yazılım çok işe yarasa da hiçbir zaman karar verici konumda değil. Makalenin kabul veya ret kararını her zaman bir editör üstleniyor. Bu tür çok basamaklı ve nihai kararın yetkin bir insan tarafından verildiği süreçler en yüksek verimliliği sunacaktır.
Akademik yayıncılık alanında yapay zekâ uygulamalarının kullanımı giderek yaygınlaşıyor. İntihal tespitine yardımcı olmak için kullanılan programlara ek olarak artık makale değerlendirme sürecinde de hakemlerin işini hafifleten ve makalelerde bulunan istatistiki verileri kontrol eden yazılımlar rutin uygulamalar haline gelmekteler. Bu programlar ne kadar işimizi kolaylaştırsa da hata yapabileceklerini ve aldatılabileceklerini hiçbir zaman akıldan çıkarmamak gerekiyor.
