Peer-Reviewing Peer Review – Apakah ada manfaat lain? – Beragampengetahuan

Postingan tamu oleh Willis Eschenbach (@weschenbach di X, blog di Skating Under The Ice)

Kita selalu diberitahu bahwa sains adalah mesin yang dapat mengoreksi diri sendiri. Mekanisme kebenaran murni di mana ide-ide buruk dibuang. dan ide-ide bagus muncul ke puncak seperti krim, kami diberitahu “Percayalah pada sains.™– Karena telah melewati ujian sihir misterius yang disebut Tinjauan Sejawat–

Berita buruk. Mesinnya rusak. Krim adalah susu asam. Dan portir tertidur di saklar. Atau lebih buruk lagi, mereka menjual tiket kepada pengacau.

Sebuah studi baru dari Northwestern University diberi judul Penelitian mengungkapkan bahwa penipuan ilmiah yang sistematis meningkat pada tingkat yang mengkhawatirkan.Tirai baru saja dibuka atas apa yang telah dikatakan banyak orang selama bertahun-tahun. Ternyata “penipuan ilmiah sistematis” bukan hanya segelintir lulusan baru yang memalsukan data. Tidak, ini adalah operasi skala industri global.

Dari penelitian diketahui apa yang sedang kita hadapi saat ini “Jaringan global yang kompleks” yang berfungsi terutama sebagai organisasi kriminal. Itu bukan sekadar hasil palsu. Mereka menciptakan karier ilmiah palsu. Mereka menjual slot penulis pada dokumen palsu seperti mereka menjual kondominium di Florida.

apakah Anda ingin menjadi “Penulis pertama” pada makalah fisika inovatif? Itu akan menjadi $5.000. Apakah Anda ingin menjadi rekan penulis? Kami memiliki diskon di jalan nomor 3.

Studi tersebut mencatat bahwa penipuan ini memang terjadi. “Melampaui tingkat pertumbuhan publikasi ilmiah yang sah” Bayangkan saja, kanker tumbuh lebih cepat daripada inangnya.

ya!

Dan sistem peer-review, perisai kebanggaan yang seharusnya melindungi kita dari kesalahan? Perilakunya kurang seperti perisai dan lebih seperti kisi-kisi.

Tapi tunggu. Sebelum kita menyalahkan semua ini atas “jaringan kriminal” yang tidak jelas dan pabrik kertas anonim di luar negeri. Mari kita lihat keadaan sebenarnya. Sebab pembusukan tidak hanya datang dari luar rumah saja. Itu berasal dari ruang bawah tanah.

Saya pernah melihat film ini sebelumnya. Saya menjalaninya

Beberapa tahun yang lalu, saya menulis tentang pengalaman peer review saya dengan Dr. Michael Mann, penulis “Hockey Stick” yang terkenal, saya memanggilnya. “Operator yang lancar” dan yang saya maksudkan adalah itu. dalam iklim dunia, “Peer review” sering kali diubah menjadi “peer review.” Terlalu banyak “peer review”, klub yang lebih kasual. di mana seorang teman akan mencap makalah temannya Dan yang lebih penting, hal ini menghalangi publikasi penelitian dari siapapun yang, seperti saya, berani mempertanyakan “konsensus.”

Dan seperti yang telah saya jelaskan secara rinci dalam “Kebebasan Informasi Okole Saya”, saya telah menghabiskan waktu bertahun-tahun untuk meminta data dan kode di balik penelitian yang didanai pembayar pajak ini. Dan apa yang saya dapatkan? Penggalian, penyangkalan, seperti yang dikatakan Phil Jones kepada Warwick Hughes, “Mengapa saya harus menunjukkan informasi saya kepada Anda? Lagi pula, yang Anda perlukan hanyalah menemukan sesuatu yang tidak biasa dalam data tersebut.”

Itu bukan sains. Imamatlah yang mempertahankan doktrinnya.

Sistem peer-review yang ada saat ini adalah kotak hitam. Editor mengirimkan artikel ke dua atau tiga pengulas anonim. Jika pengulas adalah teman penulis, artikel tersebut akan lolos. Jika penulis adalah orang luar atau skeptis, Reviewer dapat secara diam-diam mematikan artikel ini. tanpa tanggung jawab apapun Untuk alasan yang tidak ada hubungannya dengan ilmu pengetahuan dan segala sesuatu yang berkaitan dengan melindungi wilayah mereka.

Tentu saja, hanya pengulas yang jujur ​​dan sangat jarang yang akan mengizinkan publikasi penelitian apa pun. Apa pun itu, hal itu merusak fondasi pekerjaan yang telah ia habiskan seumur hidup untuk menciptakan dan menjelaskannya. Seperti yang dijelaskan dengan terkenal oleh Upton Sinclair, “Sulit membuat laki-laki memahami hal-hal tertentu. Karena gajinya bergantung pada hal itu, dia tidak memahaminya.”– Aku menyebutnya begitu. Itu adalah “Perangkap Sinclair” dan terlalu mudah untuk terjerumus ke dalamnya.

Sayangnya, Perangkap Sinclair bahkan lebih buruk lagi bagi para ilmuwan karena ini bukan hanya soal uang. Saya sudah mengatakannya sebelumnya. “Ilmu pengetahuan adalah olahraga darah.”– Yang saya maksud adalah penemuan atau pemahaman ilmiah baru. Ada kemungkinan biayanya sangat tinggi. Ini bukan hanya tentang gaji. tetapi juga reputasi profesional yang berharga dari pemegang pandangan sebelumnya.

Hal ini tidak harus mahal bagi para ilmuwan yang penelitian sebelumnya tidak dapat diandalkan. Bersikaplah jujur, terbuka, dan bersedia untuk bergerak maju, menerima, dan membangun pemahaman baru.

Namun hal tersebut tidak terjadi pada semua ilmuwan.

Dan sekarang kita sudah melihat hasilnya. Sebuah sistem yang begitu buram dan tidak dapat dipertanggungjawabkan sehingga dapat dimanfaatkan oleh kelompok kriminal di satu sisi dan penjaga gerbang ideologis di sisi lain.

Jadi apa yang kita lakukan? Kami hanya mengangkat tangan dan berkata Apakah “sains itu sulit”?

Tidak, tidak.

Kita perlu perombakan total. Penghancuran total kerahasiaan yang memungkinkan isu ini berkembang dalam kegelapan.

Saya sudah menawarkan solusinya. Dan saya akan menawarkan lagi, saya menyebutnya Tinjauan Sejawat Ditambah–

Begini cara kerjanya: Mudah, murah, dan akan menyelesaikan 90% masalah ini dalam semalam.

Pertama, Anda perlu mempertahankan tinjauan sejawat tradisional. Tapi inilah kejutannya: Anda mempublikasikan semuanya

Saat artikel diterbitkan Anda tidak hanya menerbitkan artikel, Anda juga menerbitkannya. semua Korespondensi antara penulis dan reviewer Anda mempublikasikan nama reviewer dan editor. Anda mempublikasikan argumen dan argumen penulis.

Biarkan dunia melihat bagaimana sosis dibuat. Jika pengulas memberi Anda izin karena mereka berteman Itu akan terlihat jelas. Jika pengulas memblokir sebuah artikel karena tidak menyukai kesimpulannya, itu juga akan jelas.

Tapi saya akan melangkah lebih jauh.

Kita harus mempublikasikan sesuatu yang berharga. ditolak dokumen.

Sains berjalan berdasarkan kebohongan. Ketika sebuah artikel ditolak Hal ini biasanya karena reviewer mengklaim telah menemukan bug. Pemalsuan, akurat atau tidak, adalah informasi ilmiah yang berharga. Namun kini telah dibuang ke tong sampah sejarah.

Jika peninjau menolak laporan saya, saya ingin penolakan tersebut—dan tanggapan saya—tercatat di publik. Biarkan komunitas memutuskan apakah penolakan itu benar atau sekadar menjaga gerbang.

Kita juga memerlukan sebuah sistem. “Review terbuka” yang memerlukan data dan kode untuk dipublikasikan Seperti yang pernah dikatakan teman saya Mosh, “Tidak ada kode, tidak ada data, tidak ada sains.”– Ini akan menghasilkan “Tidak dipublikasikan”– periode-

Kemudian, setelah dipublikasikan, buka lantai. Hal ini memungkinkan komentar yang dimoderasi dan anonim di web dari komunitas ilmiah yang lebih besar dan publik. Kenyataannya adalah tinjauan sejawat publik global ini adalah satu-satunya kritik yang benar-benar berharga.

Studi Northwestern mengatakan kita perlu melakukan hal tersebut. “Polisi sendiri lebih baik.” Mereka setengah benar. Kami tidak membutuhkan lebih banyak polisi. Kita membutuhkan lebih banyak cahaya dan transparansi. Sinar matahari adalah disinfektan terbaik. Lembaga ilmiah saat ini beroperasi di ruangan tanpa jendela. Dan jamur menggantikan tempatnya.

Kita harus berhenti memperlakukan “Peer Review” sebagai segel kebenaran yang suci. dan mulai memperlakukannya apa adanya: sebuah proses yang cacat, manusiawi, dan sangat rusak saat ini.

Sampai kita membuka pintu bagi masyarakat untuk melihat siapa yang membayar siapa. Siapa yang memeriksa siapa? Apa argumen dalam penelitian ini? Dan dimana informasinya? Penipuan ini akan terus berlanjut. Pabrik kertas akan terus berputar, teman-teman akan terus mengulas, dan kepercayaan publik terhadap ilmu pengetahuan akan terus menurun dalam waktu yang lama dan lambat.

Baik masyarakat maupun ilmuwan berhak mendapatkan yang lebih baik.

W.

P.S. Setelah menulis pesan di atas. Saya pikir saya akan menggunakan kebingungan saya untuk mendidik diri saya sendiri tentang sejarah peer review, dan seperti biasa, ada banyak hal yang harus saya pelajari. Ini adalah pertanyaan yang bagus untuk AI karena sejarah bukanlah topik yang kontroversial. saya bertanya:

Bagaimana sejarah proses peer review dalam publikasi ilmiah? Siapa yang mendorongnya? Siapa yang keberatan?

Saya telah menyertakan beberapa nasihat standar tentang tidak berspekulasi. Dengan menggunakan sumber primer dan sejenisnya, berikut jawabannya:

–

Tinjauan sejawat dalam penerbitan ilmiah berkembang secara bertahap dari konsultasi editorial informal pada abad ke-17 hingga penilaian eksternal yang terstandarisasi setelah Perang Dunia II. Hal ini mendapat dukungan kelembagaan yang kuat dari masyarakat terpelajar utama dan jurnal-jurnal terkemuka. dan kritik terus-menerus dari para ilmuwan dan ahli metodologi yang berpendapat bahwa pendekatan ini konservatif, bias, dan sering kali tidak dapat diandalkan. Tidak ada seorang pun yang “menemukan” tinjauan sejawat modern. dan dokumen sejarah yang masih ada tidak mendukung pengaitan informasi tersebut kepada orang tertentu. Sebaliknya, hal ini muncul melalui peningkatan praktik di jurnal seperti Philosophical Transactions of the Royal Society dan kemudian kebijakan formal di jurnal seperti Nature. [1] [2] [3] [4] [5] [6] [7]

Tinjauan editorial awal (abad 17-18)

• Pada tahun 1665 Henry Oldenburg mulai mengedit Philosophical Transactions of the Royal Society. dan mintalah saran dari kolega yang berpengetahuan untuk memutuskan cetakan mana yang akan dikirim. yang dipandang oleh para sejarawan sebagai pendahuluan penilaian resmi Meskipun ini bukan tinjauan sejawat eksternal yang sistematis dalam pengertian modern. [2] [8] [7]

• Pada abad ke-18, Royal Society membentuk Komite Dokumen yang dapat menerima, menunda, menolak, atau meneruskan naskah ke anggota yang ditunjuk untuk evaluasi ahli. Ini memasukkan penilaian ilmiah internal ke dalam konstitusi jurnal. Namun tidak ada verifikasi eksternal yang terstandarisasi dan anonim. [3] [8] [7]

Organisasi kelembagaan pada abad kesembilan belas

• Selama abad ke-19, Transaksi Filosofis dan majalah sosial lainnya Lebih banyak menggunakan laporan tertulis dari wasit terpilih. Ini sering kali merupakan Anggota Masyarakat untuk memandu keputusan publikasi. Hal ini menjadikan prosesnya lebih formal dan inklusif dibandingkan sebagian besar kendali editorial pribadi Oldenburg. [7] [3]

• Para sejarawan sains menekankan bahwa terdapat variasi yang luas dalam praktik di jurnal dan disiplin ilmu. dan bahkan dengan adanya laporan wasit. Meski begitu, pedoman tersebut tidak bersifat universal atau seragam untuk semua karya ilmiah. [4] [2]

Tinjauan Sejawat “Modern” Abad ke-20

• Setelah Perang Dunia II Pertumbuhan pesat dalam jumlah manuskrip Perluasan cabang-cabang khusus dan meningkatnya reputasi jurnal Hal ini menyebabkan banyak jurnal secara rutin menggunakan referensi eksternal yang dilakukan oleh pakar domain. Hal ini sering diidentifikasikan sebagai asal muasal tinjauan sejawat “modern”. [9] [1] [4]

• Pada akhir tahun 1960-an dan awal tahun 1970-an, jurnal-jurnal terkemuka seperti Nature mempunyai sistem peer review formal, dan istilah “peer review” mulai digunakan secara luas. Hal ini didukung oleh infrastruktur pelacakan kutipan yang memberi penghargaan pada publikasi di tempat yang ditinjau oleh rekan sejawat. [10] [4] [9]

Siapa yang mendorong dilakukannya peer review?

• Bukti dokumenter menunjukkan pejabat dan dewan masyarakat terpelajar, khususnya Royal Society of London dan organisasi serupa di Eropa dan Amerika Utara. Ada dorongan untuk evaluasi yang lebih sistematis oleh para ahli. Untuk melindungi reputasi ilmiah Kelola anggaran pencetakan yang terbatas dan saring peningkatan volume pengiriman [2] [3] [7]

• Editor dan penerbit jurnal kedokteran dan ilmu pengetahuan alam terkemuka pada pertengahan abad ke-20 mempromosikan tinjauan sejawat eksternal sebagai mekanisme kontrol dan pengawasan kualitas. dan kemudian badan-badan dan badan-badan pemerintah mendanai penggunaan tersebut dengan menghubungkan penilaian penelitian dan kemajuan karir dengan publikasi di outlet-outlet yang ditinjau oleh rekan sejawat. [6] [1] [4]

Siapa yang keberatan dengan tinjauan sejawat?

• Analisis historis dan kontemporer mencatat argumen-argumen dari para ilmuwan terkemuka. Hal ini termasuk Albert Einstein, yang tampak menolak ketika salah satu makalahnya diperiksa secara anonim oleh pihak luar. Hal yang sama juga berlaku bagi para kritikus yang berpendapat bahwa tinjauan sejawat dapat menekan karya-karya inovatif atau inovatif. [5] [11]

• Kritik terhadap metodologi dalam literatur biomedis dan ilmu sosial telah menyoroti masalah-masalah seperti rendahnya kesepakatan antar penilai, bias, dan preferensi konservatif terhadap paradigma yang sudah mapan. dan kemampuan terbatas untuk mendeteksi kesalahan atau penipuan. Dan beberapa akademisi menyerukan reformasi besar-besaran. atau bahkan meninggalkan tinjauan sejawat pra-publikasi tradisional dan memilih model alternatif. [12] [13] [1] [6]

Keterbatasan: Catatan utama yang tersisa Catatan (laporan editorial, korespondensi, laporan wasit) tidak lengkap dan tidak konsisten dalam catatannya. Oleh karena itu, menyebutkan sumber “Penggunaan pertama” dan nama-nama orang yang mendukung atau menentangnya bersifat parsial. Dan tidak ada sumber utama yang memberikan kronologi lengkap dan jelas untuk semua disiplin ilmu. [14] [7] [2]

[1]-

[2]-

[3]-

[4]-

[5]-

[6]-

[7]-

[8]-

[9]-

[10]-

[11]-

[12]-

[13]-

[14]-