Baca laporan wasit para reformis ilmiah: mengintip di balik layar – Beragampengetahuan

Situasi yang menarik dari kisah kritik dan penarikan artikel tentang penyalinan psikologi adalah bahwa kita dapat membaca beberapa laporan wasit.

Ini bukan laporan dari artikel asli-saya kira komentar-komentar ini positif, jika tidak mereka tidak akan dipublikasikan terlebih dahulu, tetapi dalam makalah alternatif yang diusulkan;

Komentar dalam dokumen ini, dokumen tersebut berasal dari repositori publik.

Dua komentar pertama (diterbitkan oleh Tal Yarkoni dan Daniel Lakens) memang panjang, dan mereka sangat perhatian, yang sebenarnya setara dengan menerbitkan artikel (atau artikel blog). Saya pikir mereka tahu bahwa ini adalah kasus risiko tinggi, jadi mereka telah melakukan upaya tambahan.

Komentar ketiga bahkan lebih tebal. dari komentator 3 tidak benar, tetapi saya tidak akan merasa tidak nyaman tentang pengulas 3. Saya telah meninjau ratusan makalah. Saya akan membaca dengan cepat, terkadang saya merindukan ini! Inilah sebabnya mengapa buku harian ini mendapat tiga komentar yang berbeda komentar memiliki gaya yang berbeda, dan setiap pengulas yang diberikan akan membuat kesalahan.

Bagaimanapun, bagi mereka yang tidak pernah berpartisipasi dalam jurnal akademik editor, membaca komentar ini mungkin sangat menarik, hanya untuk mengintip dalam sistem yang biasanya disembunyikan oleh personel eksternal.

Ini adalah komentar dari beberapa pengulas:

Proposisi inti dari artikel ini (yaitu, jika orang menggunakan praktik terbaik, tingkat replikasi yang tinggi pasti akan terjadi, yang jelas benar dan tidak memerlukan dukungan pengalaman. Ini mungkin satu -satunya cara untuk salah. Tanpa hasil yang dapat diandalkan, Ini menghadapi klaim yang tidak masuk akal.

Bagus!

Pembacaan amal klaim pusat penulis mungkin bahwa apa yang benar -benar mereka coba lakukan adalah dampak estimasi kuantitatif dari praktik terbaik pada replikasi yang ditemukan sebelumnya. Dengan kata lain, masalahnya bukanlah replikasi yang sebenarnya*dapat ditiru*(tentu saja), tetapi sampai batas tertentu, sampai batas tertentu, itu dapat dicapai. Jika makalah tersebut mengklarifikasi komposisi dengan cara ini, saya pikir ini akan mengajukan pertanyaan penting. Upaya serius implementasi kuantitatif metode ketat spesifik tentang replikasi akan menjadi layanan yang berharga di bidang ini. Namun, membangun makalah dengan cara ini juga dapat dengan jelas menunjukkan bahwa setidaknya dalam pengantar saat ini, penelitian ini memiliki banyak batasan desain utama.

Bang! Dia hanya berbicara tentang kebenaran.

Tujuan umum tidak jelas. Dalam naskah, tidak pernah dinyatakan dengan jelas bahwa kesimpulan penulis efektif. Esensi Esensi Esensi Tanpa pengungkapan penulis tentang proses -proses ini, proses -proses ini telah memilih efek khusus ini untuk dimasukkan, dan mereka tidak dapat ditentukan (bahkan dari arti stadion) untuk menentukan hasil saat ini dari kelompok penelitian mana yang diterapkan.

Hal semacam ini biasanya penting. Orang mungkin menjadi tergesa -gesa dalam tulisan di atas kertas, dan jurnal biasanya mengizinkan ini, karena tidak ada yang peduli untuk melintasi dan memperbaiki segalanya.

Deskripsi efeknya tidak mencukupi.

Itu sangat besar. Ini adalah contoh:

Misalnya, untuk penelitian “iklan”, Tabel 1 menggambarkan hasil inti sebagai “menonton iklan pendek di opera sabun akan meningkatkan kemungkinan orang yang merekomendasikan dan mempromosikan perusahaan dalam iklan.” Ini salah dalam setidaknya dua aspek. Pertama, penulis tidak mengukur kemungkinan rekomendasi atau mempromosikan perusahaan. Mereka mengukur kemungkinan perilaku ini*. Hubungan antara hal -hal ini pada suatu waktu harus jelas, jika tidak McDonald’s akan sangat meningkatkan pendapatan setiap kali McDonald’s memainkan iklan di TV, yang jelas bukan masalahnya (pada kenyataannya, industri kerajinan tangan keluarga di pasar mempertanyakan iklan TV di pasar Penelitian. Kedua, kata -kata saat ini berarti bahwa efeknya biasanya berlaku untuk perusahaan. Desainnya tidak diizinkan untuk membuat kesimpulan umum tentang “perusahaan dalam iklan”; ia hanya memperoleh kesimpulan tentang McDonald’s.

Ini mengingatkan saya pada interogasi makalah psikologis kami, dan makalah ini terus -menerus menggambarkan bahwa segala sesuatu tidak akurat. Sulit bagi penulis untuk mengatakan apa yang mereka lakukan!

Dalam penelitian “cookie”, penulis menulis: “Ketika mereka mengadopsi tiga jenis biskuit (gratis), orang akan dianggap serakah. Ini adalah deskripsi yang tidak akurat karena sebenarnya tidak ada biskuit. Peserta*bayangkan*jika mereka mengamati orang Mengambil biskuit, bagaimana perasaan mereka. ”

Anda mungkin berpikir ini sangat pilih -pilih, tetapi saya tidak. Kita harus ilmiah di sini! Anda mengatakan apa yang sebenarnya Anda lakukan. Bahkan jika saya tahu, tidak melakukan ini jelas merupakan praktik standar (seperti yang kita semua tahu, “satu orang dapat berasumsi bahwa dua postur 1 menit sederhana dapat mencerminkan kekuatan dan segera menjadi studi dunia nyata yang lebih kuat yang tidak memiliki kemampuan untuk mengukur, Apalagi “itu menjadi lebih kuat segera”).

Penulis menunjukkan beberapa penelitian dari perspektif artikel ini. Tapi ini tidak benar. Esensi Esensi Esensi如果这项验证性研究恰好是一项研究 ， 作为一项研究 ， 作为 kebetulan ， 观察到效应大小相当极端（正如应发生的 ， 在 16 项研究中应发生的情况） ， 而真正的效果较小（ Tampaknya meniru penelitian), maka ini bukan penelitian yang cukup dinamis. Sebaliknya, tampaknya merupakan penelitian dinamis berdasarkan efek*yang diamati. Namun, jika kita menggunakan empat replikasi sebagai perkiraan ukuran efek nyata, kekuatan penelitian rendah. Tentu saja, semua ini membutuhkan beberapa spekulasi, karena kami tidak akan pernah tahu efek sebenarnya, tetapi intinya adalah bahwa penulis tidak dapat mengatakan bahwa studi ini memiliki kekuatan tinggi dan tidak memiliki analisis daya (belum lagi analisis daya konservatif, seperti daya jaminan daya jaminan kekuatan daya, seperti analisis daya jaminan) Penulis harus lebih berhati -hati untuk mengklaim bahwa ia memiliki “kekuatan tinggi”. Kekuatan adalah kurva. Esensi Esensi Esensi

Ini banyak kata, tetapi ini bisa dimengerti. Jelaskan kepada orang yang membuat kesalahan, dan mungkin membutuhkan banyak kata untuk menjelaskan apa yang terjadi. Ini hanya laporan wasit; Ya, pernyataan dalam artikel itu salah. Selain itu, pengulas tidak tercela, dia hanya mengatakannya.