Perusahaan sudah menggunakan agen AI untuk mengambil keputusan, namun tata kelolanya tertinggal:: beragampengetahuan – Beragampengetahuan

Ditulis oleh Murugan Anandarajan: Universitas Drexel

Dunia usaha bergerak cepat dalam mengadopsi kecerdasan buatan agen (sistem kecerdasan buatan yang bekerja tanpa bimbingan manusia) namun lambat dalam membangun tata kelola untuk mengawasi mereka, sebuah survei baru menunjukkan. Ketidaksesuaian ini merupakan sumber risiko utama dalam penerapan AI. Menurut saya, ini juga merupakan peluang bisnis.

Saya seorang profesor sistem informasi manajemen di LeBow School of Business Universitas Drexel, yang baru-baru ini mensurvei lebih dari 500 profesional data melalui Pusat Kecerdasan Buatan Terapan dan Analisis Bisnis. Kami menemukan bahwa 41% organisasi menggunakan agen AI dalam operasi sehari-hari. Ini bukan sekedar proyek percontohan atau uji coba satu kali saja. Itu adalah bagian dari alur kerja reguler.

Sementara itu, tata kelola masih tertinggal. Hanya 27% organisasi yang mengatakan bahwa kerangka tata kelola mereka sudah cukup matang untuk memantau dan mengelola sistem ini secara efektif.

Dalam hal ini, governance bukanlah regulasi atau aturan yang tidak perlu. Hal ini berarti mengembangkan kebijakan dan praktik yang memberikan pengaruh jelas kepada masyarakat mengenai cara kerja sistem otonom, termasuk siapa yang bertanggung jawab mengambil keputusan, bagaimana perilaku dikendalikan, dan kapan manusia harus dilibatkan.

Ketidaksesuaian ini dapat menjadi masalah ketika sistem otonom mengambil tindakan dalam situasi nyata sebelum ada pihak yang dapat melakukan intervensi.

Misalnya, saat terjadi pemadaman listrik baru-baru ini di San Francisco, robotaksis otonom terjebak di persimpangan, menghalangi kendaraan darurat, dan membingungkan pengemudi lain. Situasi ini menunjukkan bahwa meskipun sistem otonom beroperasi “seperti yang dirancang”, keadaan yang tidak terduga dapat menimbulkan hasil yang tidak diinginkan.

Hal ini menimbulkan pertanyaan besar: Siapa yang bertanggung jawab jika terjadi masalah dengan AI—dan siapa yang dapat melakukan intervensi?

Mengapa tata kelola penting

Ketika sistem AI bertindak sendiri, tanggung jawab tidak lagi berada pada tanggung jawab yang diharapkan oleh organisasi. Keputusan masih terjadi, namun kepemilikan lebih sulit dilacak. Di bidang jasa keuangan, misalnya, sistem deteksi penipuan semakin banyak yang bertindak secara real-time, memblokir aktivitas mencurigakan sebelum seseorang dapat meninjau kasus tersebut. Pelanggan biasanya baru mengetahui ketika kartunya ditolak.

Lalu bagaimana jika kartu Anda ditolak secara tidak sengaja oleh sistem AI? Dalam hal ini, masalahnya bukan pada teknologi itu sendiri – teknologi tersebut bekerja sesuai rancangannya – namun tanggung jawabnya. Penelitian mengenai tata kelola AI pada manusia menunjukkan bahwa masalah muncul ketika organisasi tidak secara jelas mendefinisikan bagaimana sistem manusia dan sistem otonom harus bekerja sama. Kurangnya kejelasan membuat sulit untuk mengetahui siapa yang bertanggung jawab dan kapan mereka harus mengambil tindakan.

Tanpa pemerintahan yang dirancang untuk otonomi, masalah-masalah kecil bisa menjadi besar. Pengawasan menjadi sporadis dan kepercayaan terkikis, bukan karena sistem tersebut langsung gagal namun karena masyarakat mengalami kesulitan dalam menjelaskan atau mendukung apa yang dilakukan oleh sistem tersebut.

Pada saat manusia memasuki siklus itu, semuanya sudah terlambat

Di banyak organisasi, manusia secara teknis “berada dalam lingkaran”, tetapi hanya setelah sistem otonom mengambil tindakan. Orang-orang cenderung mengambil tindakan ketika masalah sudah terlihat – ketika harga tidak sesuai, transaksi ditandai, atau pelanggan mengeluh. Pada saat itu, sistem telah memutuskan bahwa tinjauan manusia akan bersifat korektif, bukan pengawasan.

Intervensi selanjutnya dapat membatasi dampak keputusan individu namun jarang menjelaskan siapa yang bertanggung jawab. Hasilnya mungkin bisa diperbaiki, namun tanggung jawabnya masih belum jelas.

Panduan terbaru menunjukkan bahwa ketika otoritas tidak jelas, pengawasan manusia menjadi tidak formal dan tidak konsisten. Masalahnya bukan pada keterlibatan manusia, tapi pada waktu. Tanpa tata kelola yang telah dirancang sebelumnya, masyarakat akan bertindak sebagai katup pengaman dan bukan pengambil keputusan yang bertanggung jawab.

Bagaimana tata kelola menentukan siapa yang akan bergerak maju

Agen AI sering kali memberikan hasil yang cepat dan awal, terutama saat tugas diotomatisasi untuk pertama kalinya. Survei kami menemukan bahwa banyak perusahaan merasakan manfaat awal ini. Namun seiring berkembangnya sistem otonom, organisasi sering kali menambahkan langkah-langkah tinjauan manual dan persetujuan untuk mengelola risiko.

Seiring berjalannya waktu, apa yang tadinya sederhana perlahan menjadi rumit. Pengambilan keputusan menjadi lambat, penyelesaian masalah semakin banyak, dan manfaat otomatisasi semakin memudar. Hal ini terjadi bukan karena teknologi berhenti bekerja, namun karena masyarakat tidak sepenuhnya mempercayai sistem otonom.

Perlambatan ini belum tentu terjadi. Survei kami menunjukkan perbedaan yang jelas: Banyak organisasi yang merasakan manfaat awal dari AI otonom, namun organisasi dengan tata kelola yang lebih kuat kemungkinan besar akan mewujudkan manfaat ini menjadi hasil jangka panjang, seperti peningkatan efisiensi dan pertumbuhan pendapatan. Perbedaan utamanya bukanlah ambisi atau keterampilan teknis, namun persiapan.

Tata kelola yang baik tidak membatasi otonomi. Hal ini dapat dilakukan dengan memperjelas siapa yang memiliki otoritas pengambilan keputusan, bagaimana fungsi sistem dipantau, dan kapan pihak-pihak harus melakukan intervensi. Panduan internasional dari OECD (Organisasi untuk Kerja Sama dan Pembangunan Ekonomi) menggarisbawahi hal ini: Akuntabilitas dan pengawasan manusia perlu dirancang ke dalam sistem AI sejak awal, bukan ditambahkan kemudian.

Alih-alih memperlambat inovasi, tata kelola justru menciptakan kepercayaan yang dibutuhkan organisasi untuk memperluas otonomi mereka, dibandingkan secara diam-diam mengambilnya kembali.

Keuntungan berikutnya adalah tata kelola yang lebih cerdas

Keunggulan kompetitif AI berikutnya tidak akan datang dari adopsi yang lebih cepat, namun dari tata kelola yang lebih cerdas. Ketika sistem otonom mengambil lebih banyak tanggung jawab, kesuksesan akan menjadi milik organisasi yang secara jelas mendefinisikan kepemilikan, pengawasan, dan intervensi sejak awal.

Di era agen AI, organisasi dengan pengelolaan terbaik akan mendapatkan kepercayaan diri, bukan hanya mereka yang mengadopsinya terlebih dahulu.

Tentang penulis:

Murugan Anandarajan, Profesor Ilmu Keputusan dan Sistem Informasi Manajemen, Universitas Drexel

Artikel ini diterbitkan ulang dari The Conversation di bawah lisensi Creative Commons. Baca artikel aslinya.