Pasar Juri Meta – Oleh Robin Hanson – Beragampengetahuan

Sebuah “juri” hukum yang khas terdiri dari dua belas warga negara anonim yang secara pasif mendengarkan informasi terkait dengan keputusan tersebut tanpa pengaruh luar, berbicara tatap muka selama berjam-jam hingga berhari-hari, dan kemudian membuat keputusan biner mengenai isu-isu yang relevan tidak ada motif yang jelas. Namun sekarang mari kita menggeneralisasikan konsep “juri” ini kepada kelompok mana pun yang bertanggung jawab untuk memberikan putusan berdasarkan serangkaian pilihan yang telah ditentukan sebelumnya, dengan segala cara untuk memilih anggota, dengan segala cara untuk memperoleh informasi yang relevan, dengan segala pembatasan terhadap pengaruh luar, dalam keadaan apa pun. Keterlambatan waktu sebelum musyawarah dimulai atau tercapainya keputusan, dan segala insentif juri yang berkaitan dengan hal-hal lain, termasuk putusan juri lainnya.

Dalam istilah ini, seorang CEO yang memegang opsi saham untuk membuat keputusan manajemen juga merupakan “juri”, seperti hakim hukum tunggal, dan seperti pasar prediksi, siapa pun dapat menempatkan sejumlah uang pada peristiwa di masa depan diselesaikan oleh beberapa orang yang kelak akan menilai peristiwa itu. Jadi, untuk topik apa pun yang kita ingin diputuskan oleh juri, berapa pun anggaran yang kita mampu, dan tenggat waktu tertentu yang perlu kita putuskan, kita dapat dengan bijak mengajukan pertanyaan-pertanyaan berikut: Yang Akankah mekanisme juri tertentu, yang menghabiskan anggaran tersebut, dan memberikan putusan sesuai tenggat waktu, akan memberikan putusan yang paling akurat mengenai subjek tersebut?

Kami berharap keakuratan suatu putusan secara umum (tetapi tidak selalu) meningkat seiring dengan menyempitnya ruang putusan, penundaan waktu pengambilan keputusan, keahlian, kecerdasan, dan pengalaman juri, serta independensi juri dari tindakan. suap berasal dari kepentingan pihak-pihak terkait, sumber daya yang tersedia bagi para juri untuk membantu pertimbangan mereka, dan kekuatan insentif berorientasi akurasi yang dihadapi para juri. Jelasnya, kita harus mengumpulkan sejumlah besar data mengenai keakuratan relatif berbagai metode dalam konteks berbeda.

Jika kita menginginkan putusan yang murah dan cepat terkait topik yang memerlukan penundaan dan sumber daya, solusi yang menarik adalah dengan menggunakan pasar prediksi bersyarat instan untuk memperkirakan putusan juri acak dengan penundaan lama yang memiliki sumber daya tinggi, jika mereka benar-benar terpaksa melakukannya. Jika Anda membuat keputusan. (Dan mungkin secara rekursif.) Namun demikian, kita masih menghadapi pertanyaan kunci: jenis juri yang tertunda dan banyak akal seperti apa yang sebaiknya kita gunakan, dan apakah akan mengaitkan insentif mereka dengan jenis juri lain yang akan datang kemudian. Ini adalah pertanyaan kunci yang ingin saya pertimbangkan dalam artikel ini.

Tapi pertama-tama izinkan saya mengingatkan Anda betapa banyak yang bisa kami capai dengan juri yang lebih baik. Dunia kita terus-menerus dipenuhi oleh massa yang memperdebatkan klaim, dan kita dapat memperkirakan bahwa massa akan kurang akurat dibandingkan juri yang baik. Karena anggota mafia termotivasi oleh keputusan yang terburu-buru, juri menunggu untuk mempertimbangkan semua bukti sebelum mengambil keputusan. Kita bisa menggunakan juri untuk memutuskan siapa yang seharusnya Membatalkan,kepada siapa menyalahkan Untuk masalah hubungan, tetapkan resmi kebijakan,Masih banyak lagi lagi.

Oke, sekarang kembali ke pertanyaan kunci kita: Bagaimana kita memilih juri yang paling akurat dalam situasi tertentu? Saya dapat melihat tiga ukuran kualitas utama yang mungkin kita gunakan.

Ukuran kualitas juri utama yang pertama adalah kalibrasi. Jika terkadang keputusan juri dapat dibandingkan dengan fakta, maka kita dapat membandingkan kejadian yang diperkirakan dengan kejadian sebenarnya. Misalnya, apakah sesuatu yang dikatakan 10% kemungkinannya sebenarnya 10% kemungkinannya akan terjadi? Kita dapat melakukan hal ini dalam kumpulan data keputusan juri, atau kita dapat meminta pasar prediksi untuk memperkirakan kalibrasi ini untuk serangkaian keputusan tertentu di masa depan. Juri yang terkalibrasi lebih baik akan lebih baik, meskipun dengan estimasi yang terkalibrasi dengan baik, kita seharusnya dapat mengubah banyak juri yang tidak terkalibrasi menjadi juri yang terkalibrasi dengan mengubah keputusan mereka.

Pasar prediksi dikalibrasi dengan baik dan banyak prediksi dibuat dari model statistik. Hal ini menunjukkan bahwa kita lebih sering menggunakan metode lain ketika kita tidak yakin dengan kalibrasinya. Mungkin ada juga cara untuk memaksakan kalibrasi dengan anggaran tingkat kepercayaan yang terbatas? Jelas masih banyak pekerjaan yang harus dilakukan tentang cara memperkirakan atau memaksa kalibrasi. Tapi izinkan saya melanjutkan sekarang.

Indikator kualitas kunci kedua adalah kepercayaan diri. Di antara perkiraan yang telah dikalibrasi dengan baik, perkiraan yang paling percaya diri adalah yang paling akurat. Jadi selama kita bisa menegakkan atau memperbaiki kalibrasi, kita bisa mencari juri yang paling percaya diri dan, jika hal lain dianggap sama, juri yang paling akurat. Kita dapat memperkirakan kepercayaan dari kumpulan data juri dan keputusan mereka, atau dari prediksi pasar untuk kepercayaan pada juri tertentu.

Ukuran kualitas utama yang ketiga adalah: konsistensi. Jika hal-hal lain dianggap sama, sekelompok juri yang mempunyai hubungan dan informasi diharapkan dapat menghasilkan putusan yang kurang bervariasi, dan dengan putusan yang jaraknya berdekatan, menurut saya akan lebih akurat dan tidak terlalu bias. Lebih khusus lagi, mengingat ada dua juri yang sebenarnya, kita dapat membandingkan putusan mereka dan menghitung jarak di antara mereka. Kita dapat menciptakan pasar prediksi bersyarat untuk segera memperkirakan jarak di masa depan jika hal itu terjadi. Atau kita dapat membuat dua pasar prediksi, masing-masing menargetkan keputusan di masa depan, dan menghitung jarak saat ini antara perkiraan tersebut.

Untuk calon juri mana pun, kita dapat menggunakan pengukuran jarak putusan saat ini atau di masa depan untuk “mendaki bukit” di antara juri serupa guna menemukan juri yang lebih baik. Artinya, jika ada sekumpulan juri dari suatu lingkungan di ruang parameter juri yang dekat dengan calon juri, kita dapat menghitung jumlah perkiraan jarak dari setiap juri ke semua juri lain di lingkungan tersebut. Juri terdekat dengan jarak yang lebih kecil tampaknya lebih “bulat suara” dibandingkan calon juri. Untuk mendaki bukit, tunjuk orang ini sebagai calon juri baru, dan ulangi. Pendekatan ini jelas tidak memungkinkan seseorang untuk secara efisien membandingkan calon juri dari wilayah atraksi yang berbeda, namun pendekatan ini dapat membantu seseorang menemukan juri terbaik di wilayah atraksi tertentu. Ini bukan apa-apa.

Mungkin kita bisa menggunakan turnamen untuk memilih juri terbaik untuk kasus tertentu. Biarkan orang mengajukan rencana mekanisme juri dan membayar biaya penyerahan. Jika kami memiliki perkiraan entri yang terkalibrasi dengan tepat, dan jika bukan jarak rata-rata dari entri turnamen lainnya, setiap entri akan mendapatkan pasar prediksi yang sesuai dengan keyakinannya. Pemenang yang menerima hadiah adalah juri dengan perkiraan kepercayaan tertinggi atau perkiraan jarak terpendek dari peserta lainnya. Manfaatkan kepercayaan diri Anda dan laksanakan proyek pemenang. Dengan menggunakan konsistensi, mungkin terapkan dua entri pertama untuk melihat seberapa jauh kemajuannya.

Ditambahkan 15 Juni: Untuk mekanisme juri yang sangat rekursif, seperti pasar prediksi yang memprediksi pasar selanjutnya, terdapat pertanyaan sulit: di mana dalam prosesnya seseorang memprediksi kalibrasi, keyakinan, atau konsistensi.