Penelitian pembelajaran mesin bukanlah penelitian yang serius, jadi referensi halusinasi belum tentu menjadi masalah besar, sekelompok peneliti pembelajaran mesin bergengsi setuju – Beragampengetahuan

Ini Jessica. Ada beberapa perdebatan di kalangan ilmuwan komputer tentang konferensi kebijakan apa yang harus diadopsi terhadap makalah dengan referensi halusinasi. satu analisis independen Setidaknya 53 makalah NeurIPS 2025 diterima (dan mungkin telah diserahkan) pada konferensi bulan Desember, namun setidaknya satu di antaranya memiliki referensi halusinasi.

Pertanyaannya adalah, jika sebuah makalah ditemukan memiliki setidaknya satu referensi berhalusinasi, apa strategi defaultnya? Haruskah kita menyimpulkan bahwa makalah-makalah ini harus ditolak dan ditarik kembali? Haruskah kita meminta penulis untuk memperbaikinya? Ke depannya, haruskah kita menolak makalah yang memuat setidaknya satu referensi halusinasi? Jika Anda menemukan setidaknya satu referensi halusinasi, apa sebenarnya yang dapat Anda simpulkan tentang kualitas sisa makalah tersebut?

Pernyataan dewan NeurIPS menunjukkan bahwa pimpinan tidak yakin apa yang harus dilakukan dengan surat kabar tersebut:

“Penggunaan LLM dalam makalah konferensi AI berkembang pesat, dan NeurIPS secara aktif memantau perkembangannya. Pada tahun-tahun sebelumnya, kami menguji coba kebijakan mengenai penggunaan LLM, dan pada tahun 2025, pengulas diinstruksikan untuk menandai halusinasi. Mengenai temuan dari karya khusus ini, kami menyoroti perlunya upaya lebih untuk menentukan dampaknya. Bahkan 1,1% makalah karena penggunaan LLM Meskipun ada satu atau lebih referensi yang salah, isi makalah itu sendiri belum tentu benar. Misalnya, penulis mungkin telah memberikan LLM sebagian deskripsi kutipan dan meminta LLM untuk membuat bibtex (bibliografi terformat). NeurIPS tetap berkomitmen untuk meningkatkan proses peninjauan dan kepenulisan untuk memastikan ketelitian ilmiah dan untuk mengidentifikasi cara-cara di mana LLM dapat meningkatkan kemampuan penulis dan peninjau.”

Untuk menempatkan segala sesuatunya dalam konteks, bayangkan referensi halusinasi sebagai kutipan yang tercantum di bagian referensi sebuah makalah di mana rata-rata pembaca tidak dapat menentukan identitas makalah yang dikutip dengan cukup baik (dalam jangka waktu yang wajar) untuk menelusurinya. Artinya, meskipun ilusi tersebut merupakan transformasi dari kutipan asli yang valid, transformasi tersebut cukup parah sehingga tidak jelas apa makalahnya. Kutipan berhalusinasi dapat dibedakan dari kesalahan yang lebih kecil, seperti masalah tata bahasa atau kesalahan lain yang mempengaruhi kutipan, namun tidak menghalangi Anda untuk tetap mudah melacak apa yang dimaksudkan.

Saya pikir kita harus bertanya pada diri sendiri: Apa yang akan kita lakukan jika kita menemukan bukti halusinasi, seperti hasil eksperimen? Kita harus memandang makalah-makalah dengan referensi halusinasi ini sebagai masalah yang sama. Tidak peduli berapa banyak referensi halusinasi yang ada. Seberapa “valid” sebagian besar makalah tersebut, atau kemungkinan kesimpulan utama benar bergantung pada di mana referensi halusinasi tersebut ditemukan. Seperti yang dipelajari sebagian besar dari kita di sekolah dasar, alasan utama penulis mengutip penelitian relevan sebelumnya adalah untuk membantu membangun dukungan terhadap klaim mereka. Jika kita tidak memerlukan referensi ini untuk dihubungkan dengan penelitian nyata, lalu apa sebenarnya yang kita lakukan?

Dewan Direksi NeurIPS menyatakan ““Isi makalah itu sendiri belum tentu tidak valid,” yang menunjukkan bahwa mereka percaya bahwa bukti fiktif pada tingkat tertentu dapat ditoleransi jika hal tersebut terjadi karena kesalahan yang jujur. Seorang teman baru-baru ini menceritakan kepada saya kisah horor tentang seseorang yang, pada menit terakhir sebelum tenggat waktu, memberikan nilai LL.M. Mereka menyerahkan hasilnya tepat waktu, hanya untuk menemukan bahwa model tersebut menambahkan kutipan di makalah yang tidak ada. Bayangkan siapa pun yang Anda cari (apalagi orang penting yang Anda kaitkan dengan kutipan palsu!) membaca makalah Anda dan mengetahuinya.

Jadi ya, kesalahan ini bisa saja terjadi. Tapi saya tidak setuju dengan dewan bahwa penting apakah halusinasi itu tidak disengaja dan sebagian besar makalah tidak perlu dipertanyakan lagi. Tentu saja, buktinya mungkin benar, atau hasil eksperimen makalah tersebut mungkin tidak terpengaruh. Namun, jika penulis menggunakan LL.M.s untuk membantu pengutipan dan tidak meluangkan waktu untuk memeriksa hasil selama proses, tampaknya adil untuk menyimpulkan bahwa 1) mereka tidak begitu memahami kesalahan yang cenderung dilakukan LL.M., atau 2) mereka tidak menganggap kebenaran fakta sebagai prioritas. Dalam kebanyakan kasus, kita dapat mengesampingkan pertanyaan pertama bagi para peneliti pembelajaran mesin, yang menunjukkan bahwa tidak semua orang setuju tentang pentingnya tidak mengada-ada. ketika kamu Menyarankan referensi halusinasi tidak serta merta mempengaruhi validitas makalah, dan Anda menunjukkan toleransi terhadap sejumlah bukti halusinasi. Anda menggoda penulis untuk terus mengambil risiko seberapa besar tanggung jawab yang mereka alihkan ke model, daripada mendorong mereka untuk tetap memiliki rasa tanggung jawab pribadi atas keaslian kiriman mereka, apa pun alat yang mereka gunakan.

Pada akhirnya, menurut saya itu tidak terlalu penting Apakah NeurIPS mengizinkan penulis makalah tahun 2025 yang terkena dampak untuk melakukan koreksi atau pencabutan. Mengingat kebijakan mengenai penggunaan LLM berkembang pesat, saya tidak akan terkejut jika pimpinan memutuskan untuk memihak penulis dan meminta koreksi. Yang penting, mereka menunjukkan kurangnya toleransi, dan di sinilah mereka kehilangan kesempatan.

ekonomi kreatif, ilmu ekonomi adalah, pelaku ekonomi
, kegiatan ekonomi adalah, sistem ekonomi

#Penelitian #pembelajaran #mesin #bukanlah #penelitian #yang #serius #jadi #referensi #halusinasi #belum #tentu #menjadi #masalah #besar #sekelompok #peneliti #pembelajaran #mesin #bergengsi #setuju