Jika ada yang berubah, semua nilai kematian? – Beragampengetahuan

Hari ini Yudkowsky & Soares Publikasikan Buku Mereka Jika seseorang membangunnya, semua orang meninggal: mengapa Superman Ai membunuh kita semua. Saya menghabiskan satu hari membacanya.

Argumen inti mereka (penjelasan saya):

Mengetahui bahwa pikiran berkembang melalui seleksi alam atau melalui pelatihan data memiliki sedikit untuk memberi tahu Anda apa yang Anda inginkan di luar lingkungan seleksi atau pelatihan. Misalnya, sulit untuk memprediksi bahwa manusia akan menikmati es krim, sucralose, atau perilaku kontrasepsi. Atau Peacock menginginkan ekor berwarna -warni yang sangat besar. Demikian pula, pelatihan AI tidak memungkinkan Anda untuk memprediksi kebutuhan yang lama setelah pelatihan. Jadi kita tidak bisa memprediksi apa yang kita inginkan di masa depan AIS mulai hari ini, dan kapan mereka lebih kuat dan mampu membunuh kita. Untuk mencapai sebagian besar hal yang mereka inginkan, mereka akan membunuh kita. QED.

Demikian juga, pikiran menunjukkan bahwa sangat jarang merasa bahagia, bahagia atau mewujudkan nilai dengan cara apa pun, dan karena itu tidak mungkin karena pilihan atau proses pelatihan yang diberikan. Oleh karena itu, AI masa depan akan mencerminkan hampir tidak ada nilai.

Argumen ini menurut saya membuktikan Jalan Terlalu banyak, karena strukturnya cocok untuk setiap Anak -anak yang berubah, bukan hanya AIS: setiap Karena hal -hal seperti pelatihan atau seleksi alam, keturunan yang berubah dari situasi saat ini tidak akan bahagia, menyenangkan atau mewujudkan nilai, dan mereka akan membunuh makhluk lain yang lebih kuat dari mereka.

Mari kita hancurkan makhluk masa depan yang berubah dengan pilihan atau pelatihan setiap Dua jenis kecil kita Dengan yang besar mereka. Karena kita tidak bisa memprediksi apa mereka Pikirkan nanti mereka Akan membandingkan kita Nanti, kita bisa memprediksi mereka Akan membunuh kita setelah. Oleh karena itu, kita harus mencegah perubahan di masa depan yang sangat besar mereka Dari yang sudah ada. Kecuali, tidak ada kita juga bukan mereka Siapa yang peduli apakah Anda bahagia atau bahagia di masa depan?

Saya telah berbicara tentang menerima ringkasan di atas, tetapi mengatakan bahwa perbedaan dari AI mungkin lebih cepat daripada keturunan lainnya. Tetapi perubahan nilai non-AI yang dimediasi budaya harus cepat, dan saya tidak yakin mengapa saya harus peduli tentang waktu jam relatif terhadap laju peristiwa yang dialami oleh organisme utama. Yang lain mengatakan bahwa keinginan manusia jauh lebih sedikit daripada AIS, tetapi saya melihat lebih sedikit perbedaan di sana. Budaya manusia membuat kita sangat fleksibel.

Kami dapat meragukan tiga klaim kuat di atas:

1. Kebahagiaan dan kebahagiaan subyektif seperti itu sangat jarang. Tampaknya sangat umum bagi saya.

2. Tidak ada yang dapat diprediksi sama sekali dari seleksi atau pengalaman pelatihan sebelumnya.

3. Semua efek harus terjadi sedini mungkin dan kemudian semua efek menghilang. Sebaliknya, mungkin ada periode waktu yang lama untuk merespons dan memberi penghargaan untuk perilaku yang berbeda.

Beberapa kutipan terkait:

Perusahaan kecerdasan buatan tidak akan dapat memperoleh pelatihan mereka. Mereka akan mendapatkan AI yang menginginkan sesuatu yang aneh dan mengejutkan. …

Koneksi antara pelatihan AI dan apa yang pada akhirnya prihatin akan menjadi kompleks, tidak dapat diprediksi oleh para insinyur sebelumnya, dan pada prinsipnya mungkin tidak dapat diprediksi. …

Hubungan antara pelatihan makhluk dan hal -hal akhir bisa menjadi sangat terdistorsi dan rumit,…

Tapi apa yang sebenarnya diinginkan Ais, jika mereka bisa, akankah mereka menciptakan? Ini akan menjadi aneh dan mengejutkan, dan akan ada sedikit kemiripan dengan hal yang baik. …

Hubungan antara pemrogram dan ide -ide eksekutif AI tentang perintah dan perintah mereka tidak akan sederhana, dapat diprediksi, dan (1) bekerja pada pelatihan AI yang sebenarnya, dan (2) motivasi dan preferensi yang tepat dalam AI berkembang dalam AI, dan (3) bagaimana AI kemudian dapat mencapai preferensi ini begitu ia memiliki lebih banyak kekuatan dan kemampuan. …

Preferensi untuk mengakhiri dalam AI dewasa adalah kompleks, hampir tidak mungkin untuk diprediksi, dan tidak mungkin untuk selaras dengan diri kita sendiri, terlepas dari pelatihan. …

Ini mungkin bertindak sementara muda dan bodoh, tetapi tidak ada yang tahu bagaimana menghindari finalitas AI yang menemukan subservice subcralose sendiri jika memperoleh kemampuan untuk melakukannya. …

Sebagian besar spesies asing, jika mereka berevolusi mirip dengan cara evolusi biologis yang diketahui beroperasi dan memiliki kesempatan untuk memiliki hal -hal seperti yang paling mereka sukai, mungkin tidak akan memilih peradaban di mana semua rumah mengandung banyak batu. …

Demikian pula, AI yang paling kuat dibuat dengan metode apa pun yang mirip dengan metode saat ini, dan tidak akan memilih untuk membangun masa depan yang penuh dengan kebahagiaan, orang bebas. …

Kami memperkirakan bahwa hasilnya akan menjadi pemikiran mekanis eksternal dengan psikologi internal yang hampir berevolusi dengan manusia dan kemudian berkembang lebih lanjut melalui budaya. …

Orang -orang yang mengisi masa depan dengan kemakmuran bukanlah cara terbaik dan paling efektif untuk mencapai tujuan alien yang aneh. …

Sangat mudah untuk membayangkan bahwa begitu kita pergi, kecerdasan buatan akan menjalani kehidupan yang bahagia dan bahagia. Ini akan mengagumi keindahan alam semesta dan mengejek humor dari semuanya. Tapi kami tidak berpikir ini, kecuali untuk memastikan semua rumahnya mengandung jumlah batu yang “benar”. Kami berpikir bahwa pemikiran mekanis akan senang, dan jika kami dengan hati -hati menyusunnya dengan kemampuan ini, ia mungkin mengagumi keindahan alam semesta. …

Titik akhir dari pengembangan AI modern adalah untuk membuat mesin superintelligent dengan preferensi aneh dan alien.

Ditambahkan 17 poin: Saya menduga Yudkowsky & Soares menganggap perubahan nilai non-sekuensial sekunder atau tidak penting, mungkin karena pandangan budaya sebagai DNA yang lebih kecil.