Kapan masuk akal untuk berbicara tentang LLM yang memiliki keyakinan? – Beragampengetahuan

Ini Jessica. Ketika kita berbicara tentang orang yang memiliki iman, kita pikir mereka memiliki perasaan yang melekat tentang nilai sebenarnya dari proposisi. Menindaklanjuti pertanyaan posting saya sebelumnya Inspirasi ImanApakah juga masuk akal untuk menganggap agen buatan (mis., LLM) sebagai kepercayaan? Apa yang perlu kita buat untuk melihat informasi dari LLM sebagai perwakilan dari keyakinannya? Bagaimana jika proses heuristik harus sangat berbeda?

Jika Anda ingin tahu mengapa seseorang ingin memperoleh kepercayaan dari LLM, salah satu alasannya adalah bahwa kita dapat tahu kapan harus percaya apa yang mereka katakan. Apakah mereka memberi tahu kami sesuatu karena konsisten dengan apa yang mereka pelajari dari data pelatihan, atau karena mereka telah disesuaikan untuk menghindari mengatakan sesuatu (apakah mereka “percaya”), atau karena model situasional mereka menunjukkan bahwa mereka harus mengatakan itu?

Alasan lain adalah bahwa LLM tampaknya menyimpulkan representasi bahasa untuk melestarikan informasi tentang bahasa tersebut Iman, keinginan dan niat Mereka adalah pembicara yang terlatih. Informasi ini dapat dipulihkan dengan petunjuk (meskipun tidak harus tanpa bias). Seperti yang kita bahas sebelumnya, ini membuat para peneliti ingin menggunakan LLM untuk berbagai tujuan ilmu sosial. Keyakinan dapat menjadi tujuan penelitian seperti dalam survei, atau mereka dapat menjadi pengungkitan harapan kita untuk mengubah tindakan. Misalnya, banyak intervensi dimaksudkan untuk mengadopsi keyakinan, atau untuk membantu para peneliti memahami atau men -debug hasil lainnya. Jadi orang menggunakan LLM untuk meramalkan,,,,, penyelidikan,Kemudian Mensimulasikan penilaian manusia dan pengambilan keputusan Dalam penelitian perilaku. Juga tertarik untuk menerapkannya sebagai wali Yang mewakili interaksi pribadibeli blender dan berdebat tentang garansi, dll., Argumen di sini adalah bahwa jika ini keluar dari ilmu perilaku, itu perlu disesuaikan untuk menutupi llm yang lebih baik.

Keyakinan adalah tujuan yang tidak jelas

Istilah kepercayaan kelebihan beban dalam bahasa yang sama, tetapi dalam studi yang diilhami oleh penilaian dan pengambilan keputusan, kepercayaan lebih sempit: Keyakinan adalah distribusi probabilitas hasil. Kita dapat mendefinisikannya secara teoritis, misalnya dalam teori keputusan statistik normatif, di mana kita ingin keyakinan bereaksi dapat diprediksi, yaitu melalui pengkondisian Bayesian, sinyal informasi, dan kemudian memilih pilihan tindakan untuk agen, dan tujuan -tujuan ini seperti maksimalisasi kepraktisan yang diharapkan. Tetapi kami biasanya tidak ingin kepercayaan manusia sesuai dengan prediksi ini – kami pikir mereka ada di luar model normatif apa pun. Kita dapat dan seringkali hanya meminta orang untuk memberikan iman, tetapi berharap bahwa proses inisiasi akan menyebabkan kebisingan, yang berpotensi dapat mendistorsi apa yang kita dapatkan, jadi ada bidang penelitian tentang cara terbaik untuk memperoleh keyakinan manusia. Misalnya, alih -alih meminta kuantil, bola Mintalah orang tersebut mendistribusikan bola mewakili kenaikan probabilitas tetap untuk mendapatkan distribusi subyektifnya.

Anda dapat memberikan hampir semua heuristik kepada manusia yang mendorong distribusi kepercayaan juga dapat digunakan dengan LLM. Itu sebabnya memasukkannya ke sebagian besar ilmu sosial. Apakah kita pikir ini adalah ide yang bagus atau tidak, kita tidak benar -benar tahu jika kita belajar sesuatu tentang mengurangi kebisingan yang disebabkan oleh kepercayaan manusia. Apakah kita perlu mengubah strategi kita? Dan kita harus percaya apa yang kita dapatkan ketika kita meminta keyakinan LLM Fungsi Apa kepercayaan kita pada kemanusiaan? Atau apakah kita perlu memberikan lebih banyak pekerjaan dasar terlebih dahulu?

Salah satu tantangan di sini adalah bahwa sebagai konstruksi, kepercayaan sulit ditentukan. Konsep kepercayaan kami mungkin berasal dari manusia, tetapi kami tidak pernah benar -benar menyelesaikan ambiguitas keyakinan “nyata” orang tentang orang. Sebaliknya, kami menerapkan proses verifikasi, seperti menemukan konsistensi keyakinan di seluruh heuristik atau ahli, atau cara -cara di mana kepercayaan terkait dengan perilaku di berbagai situasi. Kami dapat memeriksa konsistensi dengan atribut yang diharapkan seperti probabilitas untuk membantu meyakinkan kami bahwa keyakinan kami yang telah kami pahami terwakili secara bermakna.

Oleh karena itu, salah satu cara untuk menetapkan teori kepercayaan LLMS adalah dengan juga menguji ekspresi LLM untuk membuat kita berpikir itu penting. terkini Koran Herrmann dan Levenstein Berikan alasan untuk pendekatan ini, bahwa jika kami ingin menentukan bahwa beberapa perwakilan yang kami timbulkan dari LLM mewakili keyakinan mereka, kami harus menetapkan bukti properti seperti ini ketepatan (mis., Keyakinan harus cukup akurat untuk membantu LLM berhasil dalam tugas menggunakan kebenaran tanah), Kontinuitas (mis., Keyakinan harus konsisten secara logis dan konsisten dengan aksioma probabilitas), bersatu (Keyakinan dapat diukur dan dapat ditafsirkan di seluruh bidang dan dapat diterjemahkan dengan cara yang sama, mirip dengan apa yang kita pikirkan tentang keyakinan manusia) dan menunjukkan bahwa itu adalah Bimbingan Gerakan Dalam arti tertentu, output LLM tergantung pada batas tertentu pada keyakinannya.

Apakah keyakinan LLM lebih mungkin membangkitkan?

memiliki Beberapa contoh LLM pandai menggunakan pernyataan penandaan probabilitas. Ini mungkin mulai mirip dengan studi tentang kepercayaan manusia. Sebagai contoh, para peneliti mencoba memberikan konteks tambahan LLM selama proses heuristik (seperti banyak respons sampel mereka sendiri, bukan hanya respons sampel yang ditandai), dan menemukan ini Meningkatkan alokasi probabilitasnya.

Tetapi LLMS juga menawarkan lebih banyak peluang langsung untuk mengamati keyakinan dibandingkan dengan kepercayaan manusia, karena kita dapat melihat kap dengan cara yang benar -benar tidak bisa didapat manusia. Ada beberapa manfaat untuk ini. Misalnya, secara default, setidaknya pada tingkat token, kriteria yang perlu dijumlahkan ke 1 akan dipenuhi secara default, karena ini adalah bagaimana LLM dibangun. Di sisi lain, orang biasanya membutuhkan bantuan.

Kami juga dapat menggali di dalam LLMS untuk mencari tahu apa yang mereka ketahui. Ada banyak cara untuk memahami apa yang tampaknya diketahui LLM, seperti mengidentifikasi pola dalam aktivasi internal model Pemisahan Konsep, atau kemampuan prediktif dengan menyesuaikan representasi internal a “Deteksi” (Model classifier atau regresi terpisah) untuk memprediksi hasil konsep target atau aktivasi lapisan tersembunyi yang diekstraksi dari model setelah memproses input dari model. Probe dapat digunakan untuk mengevaluasi bagaimana LLM memprediksi Probabilitas bahwa pernyataan itu benaryang lebih kuat daripada mengharuskan LLM untuk menetapkan probabilitas untuk kalimat yang diberikan di prompt. Tetapi hasil dari metode ini juga perlu dijelaskan dengan cermat. Mungkin ada penilaian ketika memutuskan di mana (mis., Lapisan mana) dalam model atau ketika catatan yang tepat diaktifkan. Setiap kali Anda mempelajari model probe terpisah, spesifikasinya menambah tingkat kebebasan tertentu dan Anda harus berhati -hati bahwa kinerja yang baik lebih dari sekadar memori memori.

Langkah lebih lanjut adalah menunjukkan bahwa mengubah representasi internal dapat digunakan untuk Berbelok Perilaku model. Ini memberikan metode untuk mengevaluasi pedoman tindakan untuk mengevaluasi kepercayaan. Tapi ini juga dapat menyebabkan kesalahpahaman, sama seperti itu menunjukkan lokasi pengetahuan dalam model, Penjelasan kausal mungkin sebenarnya lebih kompleks.

Haruskah kita mempertimbangkan apa yang muncul dari semua keyakinan ini? Perbedaan antara teknologi ini langsung di dalam model dan cara kita membangkitkan keyakinan manusia adalah bahwa inspirasi manusia biasanya membutuhkan keyakinan untuk mencapai kesadaran manusia. Pertanyaan ini diajukan LLM membawa kita ke bidang kesadaran yang lebih kontroversial. Di llm, tampaknya ada ketidaksepakatan, ada yang mengatakan itu Sangat mustahilorang lain mengatakan ya Mungkin Terlalu dini untuk dikatakan. Terkait, ada beberapa upaya untuk mendefinisikan kriteria untuk mempertimbangkan alasan LLM, rantai pemikiran atau ekspresi lain sebagai bukti introspeksi Beberapa penulis berdebat Ini hanya introspektif jika laporan diri secara akurat menggambarkan keadaan internal tertentu melalui proses kausal yang menghubungkan status dan laporan diri.

Mengapa kita harus peduli dengan ini?

Ini pertanyaan yang masih saya pikirkan. Bagian dari apa yang membuat pertanyaan -pertanyaan ini menarik bagi saya adalah melihat para peneliti mencapai kesimpulan berdasarkan introspeksi atau kepercayaan dalam menafsirkan LLM tanpa memberikan motivasi berprinsip apa pun untuk metode yang mereka gunakan. Beberapa komunitas, seperti penjelasan mekanis, sangat berhati -hati tentang kesimpulan mereka, sementara yang lain mengandalkan apa yang ditulis LLM di papan goresan tersembunyi sebagai bukti niat mereka, atau mengambil nilai dangkal sebagai contoh.

Saya tertarik untuk mencoba mengintegrasikan teori yang terinspirasi oleh iman dengan lebih baik ke dalam beberapa upaya ini. Sebagai contoh, apakah ada banyak cara baru untuk mencoba mendorong introspeksi atau penalaran yang lebih baik di LLM, tetapi dapatkah kita menerapkan informasi atau teori keputusan dengan cara yang berprinsip? Ini adalah sesuatu yang kami pertimbangkan di lab saya.

ekonomi kreatif, ilmu ekonomi adalah, pelaku ekonomi
, kegiatan ekonomi adalah, sistem ekonomi

#Kapan #masuk #akal #untuk #berbicara #tentang #LLM #yang #memiliki #keyakinan