Araştırmalarınızda Öncül Tekrarlanabilirlik Elde Etmek İçin Mi Çabalıyorsunuz?

Araştırma uygulamaları için adresinde belirtilenler kritik önem taşır. Temel olarak farklı araştırmacıların aynı koşullar altında aynı yöntemi kullanarak yaptığı çalışmalarda aynı sonuçları alması gerektiğini ifade etmektedir. Bir araştırmacının çalışma hakkında garantisini verebileceği tek şey ise konusudur.

Dergilerde yayımlanan araştırmalar tekraralanabilir olmalıdır. Fakat pek çok araştırmada çalışmanın farklı yerde tekrar edilebilmesine yetecek kadar bilgi yer almamaktadır. Önemli bilgilerin dahil edilmemesi ise okuyucuların çalışmanın güvenilirliğini değerlendirememesi anlamına gelmektedir. Bu sebepten çalışmanın bilimsel değeri epeyce düşmektedir.

Öncül Tekrarlanabilirlik Nedir?

Günümüze kadar, bilgi eksikliğinden dolayı araştırmanın tekrarlanabilir olmaması durumunu açıklayacak herhangi bir kelime bulunmamaktaydı. Bir makale yazısında Philip Stark yeni bir terim önerdi: öncül tekrarlanabilirlik.

Eğer çalışmacı deneyiyle ilgili onun başkaları tarafından tekrarlanmasını mümkün kılacak kadar doğru bilgi sunduysa, o deney öncül tekrarlanabilen bir deneydir. Stark, öncül tekrarlanabilirliği bir yemek tarifine benzetmektedir. Şu şekilde bir açıklama getirir bu benzetmeye: Bir somun ekmeği pişirmek için gerekli malzemelein listesi tek başına yeterli değil. Bu malzemelerin birbiriyle nasıl harmanlandığı ve ne uygulamaların yapıldığı da bilinmeli. Öncül tekrarlanabilirliğe de “bilimsel tarif” olarak yaklaşılabilir. Eğer tarifte yeteri kadar detay varsa, herhangi bir kimse bu tarifi uygulayarak çalışmadakine benzer sonuçlar elde edebilmelidir.

Araştırma Öncül Tekrarlanabilirlikten Yoksunsa Ne olur?

Bilimin bazı alanlarında araştırma tezlerinin ancak %25’lik bir kısmı tekrarlanabilir niteliktedir. Bu durum ciddi sonuçlara sebep olabilir. Bir raporda yeteri kadar detay sunmamak araştırmacıların sermaye ve çabalarını boşa harcamalarına sebep olabilir. Tıp sektöründe tekrarlanamayan araştırmalar tedavilerin ertelenmesine sebep olmaktadır çünkü gösterilecek kanıt yoktur. Bu durum, hem hasta hem de doktorların vaktini harcar.

Hakem değerlendirmesi(peer review) gerçekleştiren kimseler ise tekrarlanabilirlikten yoksun tezleri incelemede zorluk çekerler. Eğer belirtilen çalışmanın tekrarlanabilir olup olmadığını kontrol etmek imkansızsa değerlendirenler nasıl bu inceleyebilir ki! Stark’ın da dediği gibi, “Bilimde esas olan ‘bana göster’ şeklinde olmalı,’bana güven’ değil”. En azından öncül tekrarlanabilirliğe bile sahip olmayan araştırma, bilimsel sürece olan saygının kaybedilmesine sebep olabilir.

Bir Araştırma Nasıl Raporlanır?

Öncül tekraranabilirliğin temini açısından araştırma, sistematik ve düzenli biçimde raporlanmalıdır. Bu biçimde değerlendirenlerin çalışmayı incelemesi ve diğer araştırmacıların çalışmayı tekrar edebilmesi mümkün kılınır.

Stark, kullanmış olduğu işlenmemiş verileri (eğer mümkünse) ve yararlandığı yazılımı her zaman yayımlayacağını ifade eder. Bu mükemmel bir başlangıç.

Stark ayrıca “https://www.stat.berkeley.edu/~stark/Seminars/reproTAU15.htm”\l”32” sayfasında araştırmacıların bir tez/makale yazım sürecinde araştırmacıların esere dahil etmesi gereken birçok konudan bahseder. Bu yazıda okuyucunun aklına gelen araştırmanın tekrarının nasıl yapılacağı ile ilgili her sorunun cevabını bulmak mümkün.

Üzerine düşünülecek bazı hususlar şunlar:

• İşlenmemiş verilerini dahil ettin mi? Bunları nasıl elde ettin?
• Materyallerin ve yöntemlerin, veri toplanmasının tekrarını sağlayabilecek kadar detaylı mı?
• Ham verilerini nasıl işledin?
• Veri analiz işlemin tekrarlanabilir mi?
• Hangi plansız (ad hoc) tercihleri yaptın? Neden?
• Neden bu analiz yöntemini tercih ettin? Diğerleri hakkında düşündün mü?
• Tablo ve şekilleri tekrarlayabilmek için herhangi bir kod veya veri ekledin mi?

Öncül tekrarlanabilir bir rapor yazarken bunlar araştırmacının aklına gelmesi gereken sorulardan birkaçı. Tam olarak neyin eklenmesi gerektiği ise araştırma alanına ve çalışmanın türüne göre değişkenlik gösterecektir.

Tekrarlanabilir Araştırma Yapmanın Zorlukları

Araştırmacılar sıklıkla iyi bir bilimsel uygulamaya engel olabilecek sorunlarla yüzyüze gelirler. Çoğu bireysel çalışan araştırmacı, uzun vadeli değeri olan eserler üretmek ister. Bununla birlikte genel olarak yüksek profilli ve “gösterişli” sonuçlar elde etme baskısına maruz kalırlar. sayfasındaki bir makaleye göre “birinci olmak için yapılan teşvikler, doğru çalışmak için yapılan teşviklerden daha kuvvetli olabilir”.

Endüstrideki araştırmacılar yüksek maaşlara özeniyor olsa da, akademisyenler için baskı türleri değişebilmektedir. Yayımlar, tanıtımlar, ödüller ve daha iyi fon bulma hayallerinin tümü bireyi daha iyi araştırmadan ziyade “daha büyük” araştırmaya yöneltebilir. En önemlisi de bu baskıların tümü araştırmacıları çalışmanın “istenilmeyen” sonuçlarını görmezden gelmeye sevk edebilir.

Peki, bu durumda çözüm nedir? Bazı kuruluşlar bu sorunu çözmek için adımlar atmaya başladı. Aralarında Nature ve Science ‘ın da olduğu dergiler talimatnamelerini güncelleyerek yeni kontrol listeleri oluşturdular. Bu listelerde araştırmacılara doğru örneklem üyüklüğünü rastgele seçme ve hesaplama gibi nitelikli bilimsel uygulamalar hakkında sorular yöneltilmektedir. The US National Institutes of Health (Amerika Ulusal Sağlık Kurumları) dergisi de okuyucularından, okudukları deney planlarının araştırmacı tarafından sunulan detaylara dayanıp dayanmadığına karar vermesini istemektedir.

Maalesef, araştırma kurumları henüz araştırma paylaşım sürecini akışkan hale getirememişlerdir. Daha güçlü bir bilimi desteklemek için üniversiteler Nitelikli Kurumsal Uygulamalar’ı (GIP) ilke edinebilirler.

Nitelikli Kurumal Uygulamalar (GIP)

Hayvan deneyleri ve klinik çalışmalar gibi bazı uygulamalar açısından araştırmacıların lisanslı olması ve düzenli eğitim alıyor olması elzemdir. Kurumların, bu esasların yerine getirilip getirilmediğini kontrol eden bir personeli olmalıdır. Bu kişi de aynı şekilde bir müfettişe hesap vermekle yükümlüdür. Bu süreç ile çalışmanın en yüksek standartlarda gerçekleşmesi sağlanır.

GIP, tüm araştırmalar için benzer bir sistemin kaynağı olabilir. Bu şekilde nitelikli bilimsel uygulamalar desteklenerek tekrarlanabilir olmayan araştırmalardan kaçınılması teşvik edilir. Eğer fon bulma işlemi GIP ile ilişkilendirilmiş olsaydı, kurumlar bu konuda çok daha fazla teşvik edilmiş olurdu.

GIP’yi Nasıl Sağlarız

Özet olarak, GIP içerisinde şunlar yer almalıdır:

• Araştırma yöntemlerinin tartışılması; Kurumların yöntem ve veri toplanmasını tartışmak için yürürlükte olan resmi süreçlere sahip olması gereklidir. Aynı kurum içerisindeki araştırmacılar birbirlerinin çalışmalarını incelerler.
• Raporlama sistemleri; öğrencisinden çalışanına kadar her bireye araştırma uygulamaları ile ilgili herhangi bir endişelerini resmi olarak raporlayabilme izni vermelidir.
• Eğitimler ve standartlar; Araştırmacılar sıklıkla yayımlarının sayısı ve etki faktörü üzerinden değerlendirmeye tabii tutulurlar. Bunun yerine, bilgi birikimleri ve doğru bilimsel uygulamarın tatbiki üzerinden incelenmeleri gereklidir.
• Kayıtlar ve kalite idaresi; Tüm kayıtlar, bağımsız incelemeler için mevcut olmalıdır.
• Teşvik ve değerlendirme sistemleri; Bu sistemler nitelikli bilimsel uygulamaları takip ederek ilkelerini çok iyi yerine getirenleri teşvik etmeyi amaçlamalıdır.
• Yürürlükler; GIP’nin yerine getirilememesi durumları kaydedilmeli ve araştırılmalıdır.

Araştırmacılar, fon sağlayıcıları ve dergiler GIP’yi daha fazla ön plana çıkarabilir. Bununla beraber, GIP’nin başarılması nihayetinde kurumların kendisinden gelmeli ve ncül üretkenlik de genel bir uygulama haline gelmelidir.

Peki bu yeni terim “öncül tekrarlanabilirlik” hakkında ne düşünüyorsunuz? Bu sizin halihazırda çalışmalarınızda hedeflediğiniz bir kavram mıydı? Fikir ve deneyimlerinizi aşağıdaki yorum sekmesinde bizlere iletiniz.