Peringatan lima tahun Viral Histogram – Beragampengetahuan

Ini Eric. Lima tahun lalu, saya menulis artikel pendek (bersama Eric Cator) tentang filter kepentingan, kutukan pemenang, dan kebutuhan untuk menyusut. Tujuan utamanya adalah untuk mempublikasikan beberapa hasil matematika untuk referensi di masa mendatang. Untuk membuat artikel ini lebih menarik, kami ingin menambahkan contoh yang memotivasi. Saya menemukan makalah oleh Barnett dan Wren (2019) yang mengumpulkan interval kepercayaan untuk lebih dari satu juta perkiraan rasio dari PubMed dan mempublikasikannya. Saya mengubah interval kepercayaan menjadi statistik-z, membuat histogram, dan terkejut dengan kurangnya statistik-z antara -2 dan 2 (yaitu hasil yang tidak signifikan).

load(url("
d=complete[complete$mistake==0,]
L=log(d$lower)  # take the log because these are ratio estimates
U=log(d$upper)
estimate=(L+U)/2
stderror=(U-L)/(2*1.96)
z=estimate/stderror
hist(z[abs(z)<10],100)

Richard McElreath memperhatikan nomor tersebut, memotongnya dari koran kami dan mempostingnya di Twitter. Selanjutnya, diambil alih oleh beberapa akun (yang relatif) besar; Harlan KrumholtzBurung Penasaran, Karim Carr, John Holbein, Cremieux, dan Nicolas Fabiano. Hanya dua minggu yang lalu, John Holbein mem-posting ulang postingan sebelumnya dan menerima ribuan suka lainnya. Histogram juga populer di kalangan beragampengetahuan, lihat di sini, di sini, di sini, di sini, di sini, di sini, di sini, di sini, di sini, di sini, di sini dan di sini. Adrian Barnett dan David Borg menulis postingan blog yang berisi histogram versi mereka sendiri. Beberapa meme juga dibuat.

Pada ulang tahun kelima Histogram, saya ingin menanggapi beberapa komentar khas. Misalnya, Adriano Aguzzi berkomentar:

Jangan terlalu berlebihan dalam hal ini. Sifat permasalahannya adalah bahwa hasil negatif jarang bersifat informatif dan oleh karena itu jarang dipublikasikan. Ini sepenuhnya sah.

Hal ini mengecewakan, setidaknya, bahwa banyak orang masih tidak melihat adanya masalah dalam mendistorsi catatan ilmiah dengan melaporkan secara selektif dan mempublikasikan hasil yang memenuhi p<0,05.

Komentar khas lainnya (Simo110901):

Menurut saya, hal ini pada dasarnya bukanlah hal yang buruk, sebagian dari bias ini tentunya berasal dari bias publikasi, namun bagian yang penting (mudah-mudahan mayoritas) mungkin adalah bahwa para peneliti pada umumnya sangat pandai merumuskan tebakan dan oleh karena itu mampu menolak hasil nol dalam banyak kasus.

Banyak komentator lain yang setuju bahwa kurangnya hasil yang tidak signifikan disebabkan oleh kemampuan peneliti untuk mengukur penelitian mereka secara tepat untuk mencapai signifikansi statistik dengan kekurangan yang minimal. Hal ini tidak mungkin terjadi. Pada gambar di bawah, saya membandingkan statistik z dari Barnett dan Wren (2019) dengan kumpulan lebih dari 20.000 statistik z untuk titik akhir kemanjuran primer uji klinis di Cochrane Database of Systematic Review (CDSR).

d=read.csv("
d=d %>% filter(RCT=="yes",outcome.group=="efficacy", outcome.nr==1, abs(z)<20 ) 
d=group_by(d,study.id.sha1) %>% sample_n(size=1)        # one outcome per study 
hist(d$z[abs(d$z)<10],50)

Histogram CDSR (kanan) tidak menunjukkan kesenjangan yang jelas. Saya tidak yakin mengapa hal ini terjadi, tapi saya rasa ini karena uji klinis adalah penelitian yang serius. Mereka biasanya sudah didaftarkan sebelumnya karena mereka memiliki protokol yang disetujui oleh dewan peninjau kelembagaan. Biayanya mahal dan memakan waktu, jadi meskipun tidak penting, sayang sekali jika tidak dipublikasikan. Terakhir, tidak etis jika peserta tidak mempublikasikannya.

Komentar khas lainnya (Daniel Larkens):

Hal ini tidak secara akurat menggambarkan sejauh mana bias dalam literatur. Penulis hanya menganalisis nilai p secara abstrak.

Barnett dan Wren (2019) mengumpulkan statistik-z dari dua abstrak Dan Sumber teks lengkap. Data teks lengkap tersedia untuk artikel di PubMed Central. Terdapat 961.862 abstrak dan 348.809 sumber teks lengkap. Di bawah ini saya sajikan statistik z secara terpisah. Meskipun proporsi hasil yang tidak signifikan sedikit lebih tinggi di seluruh teks, distribusinya sangat mirip.

Algoritme pengikisan otomatis apa pun pasti akan melewatkan sesuatu. Kemungkinan hasil yang tidak signifikan yang tidak ditemukan dalam abstrak atau teks utama masih dilaporkan dalam tabel, lampiran, dan suplemen terpisah. Namun, mereka menduga hal inilah yang menyebabkan kesenjangan yang sangat besar. Saya cukup yakin bahwa statistik z PubMed memberikan bukti kuat adanya bias publikasi terhadap hasil yang tidak signifikan dalam literatur medis. Namun, perlu dicatat bahwa kurang terwakilinya statistik z antara -2 dan 2 mungkin bukan hanya disebabkan oleh bias publikasi, namun juga karena penulis tidak melaporkan interval kepercayaan untuk hasil yang tidak signifikan. Tentu saja ini masih bukanlah hal yang baik.

ekonomi kreatif, ilmu ekonomi adalah, pelaku ekonomi
, kegiatan ekonomi adalah, sistem ekonomi

#Peringatan #lima #tahun #Viral #Histogram