NTIA Menerima Lebih dari 1.450 Komentar tentang Akuntabilitas AI – Beragampengetahuan

Administrasi Telekomunikasi dan Informasi Nasional (NTIA), bagian dari Departemen Perdagangan AS, telah meminta komentar publik tentang strategi untuk mendorong akuntabilitas dalam sistem kecerdasan buatan (AI) tepercaya.

Tujuannya adalah untuk mengumpulkan umpan balik dari pemangku kepentingan untuk membuat rekomendasi untuk laporan AI Assurance and Accountability Framework yang akan datang. Rekomendasi ini dapat memandu peraturan federal dan nonpemerintah di masa mendatang.

Mempromosikan kecerdasan buatan yang dapat dipercaya yang menjunjung tinggi hak asasi manusia dan prinsip-prinsip demokrasi adalah perhatian utama Federasi, seperti yang dipersyaratkan oleh NTIA. Namun, masih ada celah dalam memastikan sistem AI akuntabel dan mematuhi aturan AI yang dapat dipercaya untuk keadilan, keamanan, privasi, dan transparansi.

Mekanisme akuntabilitas seperti audit, penilaian dampak, dan sertifikasi dapat memastikan bahwa sistem AI mematuhi standar yang dapat dipercaya. Namun, NTIA mencatat bahwa penerapan akuntabilitas yang efektif tetap menantang dan rumit.

NTIA membahas berbagai pertimbangan seputar keseimbangan antara tujuan AI yang dapat dipercaya, hambatan akuntabilitas implementasi, rantai pasokan dan nilai AI yang kompleks, dan kesulitan dalam standarisasi pengukuran.

1.450+ ulasan tentang Akuntabilitas AI

Komentar diterima hingga 12 Juni untuk membantu membentuk laporan NTIA di masa mendatang dan memandu potensi pengembangan kebijakan seputar akuntabilitas AI.

Jumlah ulasan melebihi 1.450.

Komentar, yang dapat dicari menggunakan kata kunci, terkadang berisi tautan ke artikel, surat, dokumen, dan tuntutan hukum tentang potensi dampak AI.

Perusahaan teknologi menanggapi NTIA

Ulasan ini mencakup umpan balik berikut dari perusahaan teknologi yang berupaya mengembangkan produk AI untuk tempat kerja.

Surat dari OpenAI ke NTIA

Dalam surat OpenAI, ia menyambut baik definisi NTIA tentang masalah ini sebagai “ekosistem” tindakan akuntabilitas AI yang diperlukan untuk menjamin AI yang dapat dipercaya.

Peneliti OpenAI percaya bahwa ekosistem akuntabilitas AI yang matang akan mencakup elemen akuntabilitas umum yang dapat diterapkan secara luas di seluruh domain dan elemen vertikal yang disesuaikan dengan konteks dan aplikasi tertentu.

OpenAI telah difokuskan pada pengembangan model dasar — ​​model AI yang dapat diterapkan secara luas dipelajari dari berbagai kumpulan data.

Ia melihat perlunya pendekatan yang berfokus pada keselamatan untuk model-model ini, terlepas dari domain spesifik yang mungkin diterapkan.

OpenAI merinci beberapa pendekatan terkini terhadap akuntabilitas AI. Ini mengeluarkan “kartu sistem” untuk memberikan transparansi tentang masalah dan risiko kinerja utama dengan model baru.

Itu melakukan pengujian “tim merah” kualitatif untuk mendeteksi fungsionalitas dan mode kegagalan. Ini memberikan penilaian kuantitatif dari berbagai kemampuan dan risiko. Ini memiliki kebijakan penggunaan yang jelas, larangan penggunaan berbahaya, dan mekanisme penegakan.

OpenAI mengakui bahwa ada beberapa tantangan signifikan yang belum terselesaikan, termasuk kemampuan untuk menilai potensi bahaya karena kemampuan model terus berkembang.

Ini membahas masalah terbuka seputar evaluasi independen modelnya oleh pihak ketiga. Dan itu menunjukkan bahwa mungkin ada persyaratan pendaftaran dan lisensi untuk model dasar masa depan dengan risiko yang signifikan.

Sementara pendekatan OpenAI saat ini berfokus pada transparansi, pengujian, dan kebijakan, perusahaan tampaknya bersedia bekerja sama dengan pembuat kebijakan untuk mengembangkan langkah-langkah akuntabilitas yang lebih kuat. Ini menunjukkan bahwa model AI yang mampu mungkin memerlukan kerangka peraturan yang disesuaikan.

Secara keseluruhan, tanggapan OpenAI mencerminkan keyakinannya bahwa kombinasi upaya pengaturan mandiri dan kebijakan pemerintah akan memainkan peran penting dalam mengembangkan ekosistem akuntabilitas AI yang efektif.

Surat dari Microsoft untuk NTIA

Sebagai tanggapannya, Microsoft mengklaim bahwa akuntabilitas harus menjadi elemen penting dari kerangka kerja untuk mengatasi risiko yang ditimbulkan oleh AI sekaligus memaksimalkan manfaatnya. Perusahaan yang mengembangkan dan menggunakan AI harus bertanggung jawab atas dampak sistem mereka, dan badan pengawas membutuhkan kekuatan, pengetahuan, dan alat untuk melakukan pengawasan yang tepat.

Microsoft telah menguraikan pelajaran yang dipetik dari inisiatif AI yang Bertanggung Jawab, yang bertujuan untuk memastikan mesin selalu berada di bawah kendali manusia. Akuntabilitas dibangun ke dalam struktur tata kelola dan standar AI yang bertanggung jawab, termasuk:

• Melakukan penilaian dampak untuk mengidentifikasi dan mengatasi potensi bahaya.
• Pengawasan tambahan terhadap sistem berisiko tinggi.
• Dokumentasi yang memastikan sistem sesuai untuk tujuan.
• Tata kelola data dan praktik manajemen.
• Memajukan bimbingan dan kontrol manusia.
• Microsoft menjelaskan bagaimana melakukan tim merah untuk mengungkap potensi bahaya dan kegagalan, dan mengeluarkan pernyataan transparansi untuk layanan AI-nya. Mesin pencari Bing baru dari Microsoft menerapkan pendekatan yang bertanggung jawab ini pada AI.

Microsoft memiliki enam rekomendasi untuk meningkatkan akuntabilitas:

• Dibangun di atas Kerangka Manajemen Risiko AI NIST untuk mempercepat penggunaan mekanisme akuntabilitas seperti penilaian dampak dan tim merah, terutama untuk sistem AI berisiko tinggi.
• Kembangkan kerangka hukum dan peraturan untuk tumpukan teknologi berbasis AI, termasuk persyaratan lisensi untuk model dasar dan penyedia infrastruktur.
• Peningkatan transparansi sebagai pendukung akuntabilitas, misalnya melalui pendaftaran sistem AI berisiko tinggi.
• Berinvestasi dalam peningkatan kapasitas bagi pembuat undang-undang dan regulator untuk mengimbangi perkembangan AI.
• Investasikan dalam penelitian untuk meningkatkan tolok ukur evaluasi AI, interpretabilitas, interaksi manusia-komputer, dan keamanan.
• Kembangkan dan selaraskan dengan standar internasional untuk mendukung ekosistem jaminan, termasuk standar ISO AI dan standar asal konten.
• Secara keseluruhan, Microsoft tampaknya siap bekerja sama dengan pemangku kepentingan untuk mengembangkan dan menerapkan pendekatan akuntabilitas AI yang efektif.

Secara keseluruhan, Microsoft tampaknya siap bekerja sama dengan pemangku kepentingan untuk mengembangkan dan menerapkan pendekatan akuntabilitas AI yang efektif.

Surat dari Google ke NTIA

Tanggapan Google menyambut baik permintaan NTIA untuk mengomentari kebijakan akuntabilitas AI. Ini mengakui perlunya pengaturan dan tata kelola mandiri untuk mengaktifkan AI yang dapat dipercaya.

Google menyoroti pekerjaannya sendiri tentang keamanan dan etika AI, seperti serangkaian prinsip AI yang berfokus pada keadilan, keamanan, privasi, dan transparansi. Google juga telah menerapkan praktik AI yang bertanggung jawab secara internal, termasuk melakukan penilaian risiko dan penilaian kewajaran.

Google mendukung penggunaan kerangka peraturan yang ada dan intervensi berbasis risiko, jika berlaku, untuk mengatasi AI berisiko tinggi. Ini mendorong pendekatan berbasis konsensus kolaboratif untuk mengembangkan standar teknis.

Google setuju bahwa mekanisme akuntabilitas seperti audit, penilaian, dan sertifikasi dapat memberikan jaminan atas sistem AI yang dapat dipercaya. Namun, perlu dicatat bahwa mekanisme ini menghadapi tantangan dalam penerapannya, termasuk menilai berbagai aspek risiko yang memengaruhi sistem AI.

Google merekomendasikan untuk memfokuskan mekanisme akuntabilitas pada faktor risiko utama dan merekomendasikan penggunaan pendekatan yang menargetkan cara-cara di mana sistem AI kemungkinan besar memiliki dampak yang signifikan terhadap masyarakat.

Google merekomendasikan model tata kelola AI “hub-and-spoke”, dengan regulator sektoral mengawasi penerapan AI di bawah arahan lembaga pusat seperti NIST. Ini mendukung klarifikasi tentang bagaimana undang-undang yang ada berlaku untuk AI dan mendorong tindakan akuntabilitas risiko berbasis proporsionalitas untuk AI berisiko tinggi.

Seperti perusahaan lain, Google yakin perlu kombinasi pengaturan mandiri, standar teknis, dan kebijakan pemerintah terbatas berbasis risiko untuk memajukan akuntabilitas AI.

SURAT OPSIONAL UNTUK NTIA

Tanggapan Anthropic menjelaskan keyakinan bahwa ekosistem akuntabilitas AI yang kuat memerlukan mekanisme yang disesuaikan dengan model AI. Ini mengidentifikasi beberapa tantangan, termasuk kesulitan menilai sistem AI secara ketat dan mengakses informasi sensitif yang diperlukan untuk audit tanpa mengorbankan keamanan.

Antropik mendukung pendanaan untuk proyek-proyek berikut:

• Evaluasi Model: Evaluasi saat ini adalah tambal sulam yang tidak lengkap dan membutuhkan keahlian. Ini merekomendasikan penilaian kemampuan standar, dengan fokus pada risiko seperti penipuan dan otonomi.
• Penelitian Interpretabilitas: Hibah dan pendanaan untuk penelitian interpretasi dapat membuat model lebih transparan dan mudah dipahami. Namun, peraturan yang membutuhkan interpretasi tidak dapat dilakukan saat ini.
• Prapendaftaran pelatihan AI skala besar: pengembang AI harus melaporkan pelatihan skala besar kepada regulator untuk memberi tahu mereka tentang risiko yang muncul dengan perlindungan kerahasiaan yang sesuai.
• Tim Merah Eksternal: Uji permusuhan wajib terhadap sistem AI sebelum dirilis, baik melalui organisasi terpusat seperti NIST atau melalui akses oleh peneliti. Namun, bakat tim merah saat ini berada di laboratorium AI swasta.
• Auditor dengan keahlian teknis, kesadaran keamanan, dan fleksibilitas: Auditor membutuhkan pengalaman pembelajaran mesin yang mendalam sambil mencegah pelanggaran atau peretasan, tetapi juga harus beroperasi dalam batasan daya saing yang meningkat.
• Anthropic merekomendasikan langkah-langkah akuntabilitas cakupan berdasarkan kemampuan model dan risiko yang ditunjukkan, dan menilainya melalui penilaian kemampuan yang ditargetkan. Direkomendasikan untuk mengklarifikasi kerangka kerja kepemilikan kekayaan intelektual AI untuk memungkinkan pemberian lisensi yang adil dan memberikan panduan tentang masalah antimonopoli untuk memungkinkan kerja sama yang aman.
• Secara keseluruhan, Anthropic menyoroti kesulitan dalam menilai dan mengakses informasi tentang sistem AI tingkat lanjut secara ketat karena sensitivitasnya. Ia berpendapat bahwa penilaian kapasitas pendanaan, penelitian interpretabilitas, dan akses ke sumber daya komputasi sangat penting untuk ekosistem akuntabilitas AI yang efektif yang bermanfaat bagi masyarakat.

apa yang terjadi selanjutnya

Tanggapan terhadap permintaan komentar NTIA menunjukkan bahwa meskipun perusahaan AI mengakui pentingnya akuntabilitas, pertanyaan dan tantangan terbuka tetap ada dalam menerapkan dan meningkatkan mekanisme akuntabilitas secara efektif.

Mereka juga menunjukkan bahwa upaya pengaturan mandiri perusahaan dan kebijakan pemerintah akan berperan dalam mengembangkan ekosistem akuntabilitas AI yang kuat.

Ke depan, laporan NTIA diharapkan dapat membuat rekomendasi untuk memajukan ekosistem akuntabilitas AI dengan memanfaatkan dan membangun upaya pengaturan mandiri, standar teknis, dan kebijakan pemerintah yang ada. Masukan dari pemangku kepentingan melalui proses komentar mungkin telah membantu membentuk rekomendasi ini.

Namun, menerjemahkan rekomendasi ke dalam perubahan kebijakan yang konkret dan praktik industri yang mengubah cara AI dikembangkan, diterapkan, dan dipantau akan memerlukan koordinasi antara lembaga pemerintah, perusahaan teknologi, peneliti, dan pemangku kepentingan lainnya.

Jalan menuju akuntabilitas AI penuh panjang dan sulit. Namun langkah awal ini menunjukkan bahwa ada momentum untuk mewujudkannya.

Gambar Unggulan: EQRoy/Shutterstock