18

Klinik Denemeler İncelendi ve Deneysiz – Üretilmiş Veri Kullanımını Gösterdi

Son zamanlarda yapılan klinik çalışmalar hakkında önde gelen tıbbi dergilerde yayınlanan binlerce makale mevcut. Bunların incelemesinden sonra düzinelerce yanlış veya saptırılmış sonuçlar içerdikleri gösterilmiştir ve şüpheli istatistiksel modeller ile çalışıldığı anlaşılmıştır. Verilerde saklı anomalileri tanımlamak için istatistiksel araçlar kullanan analiz, şüpheli olarak tanımlanan bazı denemelere yönelik araştırmaları başlatmış ve tıp dergilerinde yayınlanan bazı makalelerin güvenilirliğine dair yeni kaygılar doğurmuştur.

Analiz, Torbay Hastanesi’ndeki danışman ve anestezi uzmanı olan John Carlisle tarafından yapılmıştır. John Carlisle daha önce de kayıtlara geçen en korkunç bilimsel sahtekarlık vakalarından birini ortaya çıkarmak için benzer istatistik araçlarını kullanmış ve Japon bir bilim insanının pek çok sahtekarlık ile üretilen veri içeren 183 bilimsel makale geri alınmıştı.

Carlisle son analizinde geçtiğimiz 15 yıl boyunca yayınlanan prestijli iki tıp dergisi olan Jama ve New England Tıp Dergisi’nde ve de altı farklı anestezi dergisinde yayınlanan toplamdaki 5087 klinik çalışmadan elde edilen verileri gözden geçirdi. Toplamda, yayınlanan 90 bilimsel çalışmanın güvenilir kabul edilen verilerinde tesadüfen ortaya çıkması muhtemel olmayan istatistiksel modellerin olduğunun altını çizdi. Bazı çalışmalarda da verilerle ilgili ciddi soruların olduğunu ortaya koydu.

Yeni Analiz Neleri Hedefliyor?

Carlisle, yaptığı araştırmanın amaçlarını şu şekilde sıralamıştır: 1) Temel istatistiki araçların dağılımının beklenen dağılıma tekabül edip etmediğinin ve tutarsızlıkların önde gelen anestezik olmayan ve anestezi dergileriyle paylaşılıp paylaşılmadığının araştırılması; 2) Önde gelen anestezik olmayan ve anestezik dergilerde farklı retraksiyon oranının değerlendirilmesi; ve 3) Veri bozulmasının ve makalelerin geri çekilmesinin yeni istatistiksel tekniklerle keşfedilebilirliği. Esasında, Carlisle’nin yöntemi, temel özelliklerin (yaş, ağırlık, vb.) beklenenden daha dar veya çok geniş bir istatistiki dağılım gösterdiğini, bir veya sıfıra yakın bir p-değerinin aşılmasıyla sonuçlanan bilimsel yayınları tanımlamaktadır.

Ayrıca, hiç bir zaman gerçekçi hiçbir koşul altında, yakalanan hiçbir şeyin, hastaların önceden bildirilmiş rastgele dağılımını gösteremeyeceğinden emin olmak için, Carlisle, kontrol eşiğini p<0,0001 olarak son derece yükseğe ayarlamıştır. Yazarlar, kontrol ve deney gruplarının dağılımını ayarlamış olmalılar ya da klinik müdahalenin önemli bir etkisi olduğunu iddia etmek için sayıları geriye dönük olarak göstermiş olmalılar. Daha önce de belirtildiği gibi, böyle bir durumda gerçekçi görünmeleri için ve standart sapma değerlerini taklit etmek için oldukça gelişmiş istatistiksel becerilere ihtiyaç vardır.

Her ne olursa olsun, doktorların hastalarını bu gibi bilimsel kabul edilen kanıtlara dayanarak nasıl tedavi edeceğini belirlerken oluşabilecek hata oranı çok endişe verici. Yeni analizi yayınlayan Anaesthesia dergisi genel yayın yönetmeni Dr. Andrew Klein, acilen gözden geçirilmesi gereken ve muhtemel kusurlu olduğu tespit edilen çalışmaları bildirdi. Hastaların yanlış kanıtlara dayanarak tedavi edilmesinin çok korkutucu olduğunu ve bazı tedavilerin kullanımdan geri çekilmesinin gerekebileceğinin altını çizdi.

Yapılan Yeni Analiz Nasıl İşliyor?

İstatistiksel araç, katılımcıların boy, cinsiyet, ağırlık ve kan basıncı gibi verilerinin, rastgele bir popülasyon örneğindeki aynı değişkenlerin bilinen dağılımlarıyla karşılaştırarak çalışıyor. Eğer temel veriler beklentiden önemli ölçüde farklıysa, bu, araştırmacının hata yaptığının veya bazı veri kümelerinin üretilmiş olduğu anlamına geliyor. Çünkü eğer bir veri seti üretilmiş ise sonuçları rastgele varyasyon modelinin doğru şeklini gösterme eğiliminde olmuyor.

Ocak 2000 ve Aralık 2015 tarihleri arasında yayınlanan randomize ve kontrollü çalışmalar için sekiz elektronik dergi araştırılmıştır. SD ya da SEM olarak bildirilen ortalama değerlerinin sürekli değişkenler için temel özet verileri çıkartılmıştır. Grupların, tahsis edilen müdahaleye maruz kalmadan önce ölçülen bir değişken, yaş, boy, kan basıncı veya serum sodyum konsantrasyonu gibi değişkenler temel değişkenler olarak tanımlanmıştır. Tabakalı olan değişkenler dışlanmıştır. Tahsis dizisinin, zaman içinde değişen ölçümler için araçların dağılımını azaltabilecek, izin verilen veya başka şekilde bloklar halinde oluşturulmuş olup olmadığı kaydedilmiştir.

Bunların akabinde, bireysel değişkenler için ortalamalar arasındaki farklar için hesaplanan ve denemeler içinde birleştirildiğindeki p-değerlerinin dağılımı incelenmiştir. Bireysel değişkenler ile p-değerleri üretmek için üç yöntem kullanılmıştır: bağımsız t‐testi, ANOVA ve Monte Carlo simülasyonu. Bu üç yöntem tarafından üretilen ve 0,5 değerine en yakın olan p-değerleri, bir denemedeki diğer değişkenler bulunan p-değerleri ile birleştirilmiştir. Stouffer yöntemi ile elde edilen z-değerlerinin toplamı, rastgele ve kontrollü bir deneme içinde farklı değişkenler ile p-değerlerinin birleştirilmesi için kullanılmıştır. Ayrıca, her bir deneme için, p-değerlerinin tek bir olasılıkta birleştirilmesi amacıyla beş ayrı yöntem ile sonuçlar hesaplanmıştır: logit yöntemi, ortalama değer yöntemi, Wilkinson yöntemi, log toplamı (Fisher yöntemi) ve toplam değerler yöntemi.

Özetle, randomize, kontrollü çalışmalarda temel popülasyon değişkenleri için istatistiki sonuçların dağılımı, rastgele örneklemeyle tutarsız çıktı. Dolandırıcılık, kasıtsız hata, korelasyon, tabakalı tahsisat veya kötü metodoloji gibi çeşitli nedenler bu bozulmaya etki etmiş olabilir. Gelecekteki çalışmada ise bulguların tüm randomize ve kontrollü denemeler için genel olup olmadığını belirleyebilir. Japon bilim adamı Yoshitaka Fuji‘nin durumunda, bu tür anomalilerin tespiti sonucunda, 100’den fazla makalesinin tamamen üretildiği ve deneysiz bilgiler içerdiği anlaşılmıştı.

Bilimsel Sahtekarlık ve Sonuçları

Klein, bazı durumlarda anomalilerin, verilerin yanlış yazılması veya bir sütunun yanlış etiketlenmesi gibi sonuçlar nedeniyle yanlış yorumlandığı, istatistiksel hata oluştuğu veya sadece basit hataların meydana geldiğini de belirtti. Son inceleme, temel istatistikleri çarpıtan 90 çalışmanın olduğunu tespit etti ve bunlardan 43’ünün, aslında katrilyonda bir şans ile meydana gelebilecek bir olasılıkta olduğunu gösterdi. Son inceleme, ayrıca, Carlisle’in yöntemlerinin de kontrol edilmesini sağlamanın yanı sıra, çalışmaların tam bir listesini içediğinden yazarları da eleştiriye maruz bırakmayı sağlayacak. Daha önceki büyük çaplı hatalı sonuç çalışmalar ise yazarların isimlerini ortaya çıkarmaktan kaçınmıştı.

İlgili dergi editörleri de konu ile ilgili bilgilendirildi ve altı anesteziyoloji dergisinin editörleri, söz konusu araştırmaların yazarlarını sözlü olarak yoklayacaklarını planladıklarını ve eğer açıklayamayacakları vakalar var ise derinlemesine bir soruşturma başlatacaklarını bildirdiler.

Klein, bilimsel bütünlüğün yararına, dergilerde benzer tarama araçlarının benimsenmesi gerektiği çağrısında bulundu. Herhangi bir tıbbi dergi raporunun rastgele kontrol edilen denemeleri içermesinin kabul edilemez olduğu bildirildi ve konunun önemine dikkati çekmeye çalıştı.

Cambridge Üniversitesi’nde kamu riski anlayışı alanında profesör olan Sir David Spiegelhalter, incelemede istatistik dışında kalan makalelerinin de yakından incelenmesi gerektiğini, ancak bu aşamadaki tutarsızlıkların bir nedene bağlanmasına karşın dikkatli olunması gerektiğini belirtmiştir. Spiegelhalter, bunun klasik bir yanılmanın gerçek bir tehlikesi olduğunu anlattı. Üreticilerin rastgele olmayan veriler üretme şansının yüksek olmasının, rastgele olmamanın iyi bir üretim şansı olduğu anlamına gelmediğini de belirtti.

New England Tıp Dergisi sözcüsü, yayınlanana kadar belirtilen makalelerin listesine erişemediklerini, ancak editörlerin konuyu ciddiye aldıklarını ve tüm bilgileri dikkatlice inceleyeceklerini belirtmiştir. Jama dergisinin genel yayın yönetmeni Howard Bauchner de yayınladıkları makalelerle ilgili çeşitli konularda çok sayıda iddia aldıklarını belirtti. İddiaların geçerliliğini değerlendirdikten sonra, gelecek adımları da belirleyeceklerini belirttiler. Yazarların önemli iddialara cevap verme hakkının da olduğuna dikkati çektiler.

X

Ücretsiz makalelerinizi tükettiniz.

Araştırma yazarlığı ve akademik yayıncılık konusundaki tüm kaynaklarımıza sınırsız erişim sağlamak için ücretsiz üye olun:

  • 320 + blog makaleleri
  • 50+ Web Seminerleri
  • 10+ Uzman podcast
  • 10+ e-Kitap
  • 10+ Kontrol Listesi
  • 50+ İnfografikler