Araştırmalarda neden çelişkili sonuçlar çıkıyor?

Akif Akalın

Blog: Sınıfın Sağlığı

Geçtiğimiz hafta Sınıfın Sağlığı’nda yayınlanan “Hangi akademisyen doğru söylüyor?” başlıklı yazımızda, akademisyenlerin besinler konusunda birbiriyle çelişen söylemlerinin nedeninin, aynı konu üzerine yapılan araştırmalardan farklı sonuçlar çıkabilmesi olduğunu yazmıştık. Ancak aslında akademisyenlerin beslenme üzerine söylediklerinin çok da önemi olmadığını, çünkü sağlığı belirleyen faktörler içinde ne yediğinizin veya yemediğinizin “tek başına” devede kulak kadar bir rolü olduğunu belirtmiştik.  

Yazımıza Prof. Dr. Necati Dedeoğlu hocamızdan çok değerli bir katkı geldi. Hocamız, akademisyenlerin birbirleriyle çelişen açıklamalar yapmasını doğal olduğunu belirtiyor ve bu durumun nedenlerini üç maddede sıralıyor:

Birincisi, araştırma sonuçları hatalı olabiliyor. Hocamızın bu konuda yazısına eklediği, Ioannidis tarafından kaleme alınmış makaleyi* aşağıda özetlemeye çalışacağız.

İkincisi, zaman içinde etkenler, teknikler, koşullar değişiyor ve buna bağlı olarak farklı sonuçlar çıkabiliyor.

Üçüncüsü, her tür araştırmanın sonucu aynı düzeyde güvenilir değil.

Hocamız, “Önce araştırmanın kaç kişi üzerinde yapıldığına bakmalı, sonra hangi araştırma tekniği kullanıldığına bakmalı. Bir vaka kontrol araştırması, bir kohort araştırması kadar güvenilir değil, bir kohort araştırması da, randomize kontrollü araştırma kadar güvenilir değil. En tepede meta analizler, değerlendirmeler (reviews), rehberler (guidelines) ve kitap bilgileri var” diyerek, bu sıralamanın daha iyi anlaşılabilmesi için yazısına aşağıdaki kanıt hiyerarşisi şemasını eklemiş.

Prof. Dr. Necati Dedeoğlu, topluma açıklama yapan akademisyenin, yukarıdaki etmenleri göz önüne almayabildiğini ve tek bir randomize çalışmanın sonuçlarını, gerçek oymuş gibi sunabildiğini belirtiyor. Aslında meta-analizlerin dahi çelişkili olabileceğini, sonuçların analizin yapıldığı makalelerin niteliğine ve nasıl seçildiklerine bağlı olduğunu, bu yüzden acele etmemek, kamuya bilgi vermeden önce kanıtların oturması beklemek gerektiğini söylüyor.

Hocamıza değerli katkısından dolayı çok teşekkür ederiz.

IOANNİDİS NE DİYOR?

Ioannidis, “Neden yayınlanan araştırma bulgularının çoğu yanlış” başlıklı makalesinde, tıbbi araştırmaların, “yalnızca” elde edilen sonucun istatistiksel olarak anlamlılığını yansıtan meşhur “p değerine” dayanarak yorumlanması gerektiği inancının, oldukça yaygın fakat “yanlış” bir inanç olduğunu söylüyor.

Bir araştırma bulgusunun “gerçekten” doğru olma olasılığının, bulgunun çalışma yapılmadan önceki doğru olma olasılığına, çalışmanın istatistiksel gücüne ve istatistik anlamlılık düzeyine bağlı olduğunu ifade eden Ioannidis, istatistiksel olarak anlamlı olduğu iddia edilen sonucun doğru olma olasılığının, pozitif kestirim değeri (positive predictive value) hesaplanarak gösterilmesi gerektiğini savunuyor. Belki de dergilerin, araştırmacılardan pozitif kestirim değerini belirtmelerini istemeleri daha iyi olur.

Yazar, çalışmalardan elde edilen sonuçların doğru olma olasılığının daha güçlü olduğu durumları şöyle sıralıyor:

  • Birkaç bin kişi üzerinde yürütülmüş randomize kontrollü çalışmalardan elde edilen bulgular
  • Rölatif riskin 3’ün üzerinde bulunması (etkinin büyüklüğü)
  • Geniş faz 3 randomize kontrollü deneyler gibi teyit edici tasarımlar, meta-analizler
  • Tasarım, tanımlar, çıktılar ve analitik modellerde standartlara bağlılık

Ioannidis, maddi çıkarların ve önyargıların yüksek olduğu ya da çok sayıda araştırmacının ilgilendiği “sıcak” alanlarda yapılan çalışmaların bulgularına biraz daha şüpheyle yaklaşmayı tavsiye ediyor.

Aslında biraz “teknik” bir konu olduğu için burada Ioannidis’in makalesinde kullandığı analize yer vermedim, fakat bu analizin halk sağlıkçı eğitiminde tartışılmasının çok yararlı olacağını düşünüyorum.

ARAŞTIRMALARDA YÜZDE YÜZ DOĞRU BULGU ELDE EDİLEBİLİR Mİ?

Keşke edilebilseydi… Bilimsel araştırmalarla gerçeğe “yaklaşmak” mümkün olabilir, fakat “ulaşmak” olanaksızdır, çünkü “hata” bilimsel araştırmanın “doğasında” vardır.

Tanı testlerini ele alalım. Hastalardan neden tetkik istenir? Hasta olanla olmayan ayrılsın diye. Peki, bir testin hiçbir hastayı kaçırmayacak kadar “duyarlı” olması gerçekten mümkün mü? Hayır. O halde hiçbir doktorun, “yalnızca” tetkik sonucuna bakarak teşhis koymaması gerekir. Fakat bazen hekimlerin hastasını muayene etmeden, sadece tetkik sonucuna bakarak tedavi düzenlediğini duyuyor ve çok üzülüyoruz. Kuşkusuz hata bu hekimlerin değil, onları yetiştirenlerindir.

İki değişken arasında gözlenen bir ilişkinin her zaman “tesadüfi” olma olasılığı vardır. Zaten klinik deneyler ve istatistiksel testler, elde edilen bulgunun ne ölçüde tesadüf eseri olabileceğini anlamaya çalışmak için yapılmıyor mu?

O halde Necati Dedeoğlu hocamızın dediği gibi, akademisyenlerin kamuoyuna sağlıkla ilgili konularda bilgiler verirken, “kanıtların oturmasını beklemesi”, bir araştırmada elde edilen bir bulgunun (bulguyu kendisi elde etmiş olsa dahi), başka araştırmalarda da elde edildiğini gördükten sonra konuşması gerekir.

Diğer yandan akademisyenleri dinleyenlerin de, Ioannidis’in tavsiyelerine uyması ve biyoteknoloji gibi maddi çıkarların çok yüksek, HIV/AIDS gibi önyargıların çok belirleyici olduğu veya herkesin her gün konuştuğu “sıcak” konularda yapılan açıklamalara temkinli yaklaşmaları, kendi sağlıkları ve iyilikleri bakımından daha doğru olacaktır.


DİPNOT:

* https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0...