Standar web baru dapat mendefinisikan ulang cara model AI menggunakan konten Anda – Beragampengetahuan

Dalam beberapa tahun terakhir, jaringan terbuka terasa seperti Wild West. Para pembuat konten menyaksikan karya mereka dihapus, diproses, dan dimasukkan ke dalam model bahasa besar—sebagian besar tanpa persetujuan mereka.

Ini menjadi jenis data yang gratis untuk semua orang, dengan sedikit cara bagi pemilik situs web untuk tidak ikut serta atau melindungi karya mereka.

Kami telah melakukan beberapa upaya, seperti inisiatif llms.txt Jeremy Howard. Seperti robots.txt, yang memungkinkan pemilik situs web mengizinkan atau memblokir perayap situs web, llms.txt memberikan aturan yang melakukan hal yang sama untuk robot perayapan perusahaan kecerdasan buatan.

Namun tidak ada bukti jelas bahwa perusahaan AI mengikuti llms.txt atau mematuhi aturannya. Selain itu, Google secara eksplisit menyatakan bahwa mereka tidak mendukung llms.txt.

Namun, kini muncul perjanjian baru yang memberikan pemilik situs web kendali atas bagaimana konten mereka digunakan oleh perusahaan AI. Ini mungkin menjadi bagian dari robots.txt, yang memungkinkan pemilik untuk menetapkan aturan yang jelas tentang bagaimana sistem kecerdasan buatan dapat mengakses dan menggunakan situs mereka.

Kelompok Kerja Preferensi Kecerdasan Buatan IETF

Untuk mengatasi masalah ini, Satuan Tugas Rekayasa Internet (IETF) membentuk Kelompok Kerja Preferensi Kecerdasan Buatan pada bulan Januari. Grup ini membuat aturan standar yang dapat dibaca mesin yang memungkinkan pemilik situs web memperjelas bagaimana (atau apakah) konten mereka dapat digunakan oleh sistem AI.

Sejak didirikan pada tahun 1986, IETF telah mendefinisikan protokol inti yang menggerakkan Internet, termasuk TCP/IP, HTTP, DNS, dan TLS.

Sekarang mereka menetapkan standar untuk era AI di web terbuka. Kelompok Kerja Preferensi AI diketuai bersama oleh Mark Nottingham dan Suresh Krishnan, bersama dengan para pemimpin dari Google, Microsoft, Meta, dan lainnya.

Khususnya, Gary Ellis dari Google juga merupakan anggota kelompok kerja tersebut.

Tujuan grup ini:

• “Kelompok Kerja Preferensi Kecerdasan Buatan akan menstandardisasi elemen-elemen yang memungkinkan ekspresi preferensi mengenai bagaimana konten untuk pengembangan, penerapan, dan penggunaan model kecerdasan buatan (AI) dikumpulkan dan diproses.”

Proposal dari Grup Preferensi Kecerdasan Buatan

Kelompok kerja ini akan memberikan standar baru yang memungkinkan pemilik situs web mengontrol bagaimana konten mereka digunakan di web terbuka oleh sistem yang didukung LLM.

• Dokumen pelacakan standar yang mencakup kosakata yang digunakan untuk mengekspresikan preferensi terkait kecerdasan buatan, terlepas dari bagaimana preferensi tersebut dikaitkan dengan konten.
• Dokumen trek standar yang menjelaskan metode untuk melampirkan atau mengaitkan preferensi ini dengan konten dalam protokol dan format yang ditentukan IETF, termasuk namun tidak terbatas pada penggunaan URI terkenal (RFC 8615), seperti Robot Exclusion Protocol (RFC 9309) dan bidang header respons HTTP.
• Metode standar untuk mengoordinasikan beberapa ekspresi preferensi.

Hingga tulisan ini dibuat, kelompok tersebut belum membuat keputusan akhir. Namun mereka telah merilis dokumen awal yang memberikan gambaran sekilas tentang seperti apa standar tersebut nantinya.

Kelompok kerja merilis dua dokumen utama pada bulan Agustus.

Bersama-sama, dokumen-dokumen tersebut mengusulkan pembaruan pada Protokol Pengecualian Robot (RFC 9309) yang ada, menambahkan aturan dan definisi baru agar pemilik situs web dapat memperjelas bagaimana mereka ingin konten mereka digunakan di seluruh web oleh sistem kecerdasan buatan.

cara kerjanya

Berbagai sistem AI di web dikategorikan dan diberi label standar. Tidak jelas apakah akan ada direktori di mana pemilik situs web dapat menemukan cara setiap sistem diberi tag.

Ini adalah tag yang ditentukan sejauh ini:

• mencari: untuk pengindeksan/kemampuan untuk ditemukan
• Latih kecerdasan buatan: Untuk pelatihan kecerdasan buatan secara umum
• kereta-genai: Untuk pelatihan model AI generatif
• robot: Cocok untuk semua bentuk pemrosesan otomatis (termasuk perayapan/pengikisan)

Untuk setiap label, dua nilai dapat ditetapkan:

• kamu mengizinkan
• n Dilarang.

Dokumentasi juga menyatakan bahwa aturan ini dapat diatur pada tingkat folder dan disesuaikan untuk bot yang berbeda. Di robots.txt, bidang tersebut diterapkan melalui bidang “Penggunaan Konten” yang baru, serupa dengan cara kerja bidang “Izinkan” dan “Larang” saat ini.

Berikut adalah contoh robots.txt yang disertakan kelompok kerja dalam dokumentasinya:

Agen-Pengguna: *
mengizinkan: /
Dilarang: /tidak pernah/
Penggunaan konten: train-ai=n
Penggunaan konten:/ai-ok/train-ai=y

menjelaskan
Penggunaan Konten: train-ai=n berarti bahwa semua konten di domain ini tidak boleh digunakan untuk melatih model LLM apa pun, sedangkan Penggunaan Konten: /ai-ok/ train-ai=y secara khusus berarti boleh saja menggunakan konten subfolder /ai-ok/ untuk melatih model.

Mengapa ini penting?

Ada banyak diskusi di dunia SEO tentang llms.txt dan mengapa pemilik situs web harus menggunakannya bersama robots.txt, namun belum ada perusahaan AI yang mengonfirmasi bahwa crawler mereka benar-benar mengikuti aturannya. Kami tahu bahwa Google tidak menggunakan llms.txt.

Namun, pemilik situs web menginginkan kontrol yang lebih jelas atas bagaimana konten mereka digunakan oleh perusahaan AI—baik untuk model pelatihan atau mendukung jawaban berbasis RAG.

Upaya IETF dalam menerapkan standar-standar baru ini terasa seperti sebuah langkah ke arah yang benar. Illyes terlibat sebagai penulis, dan saya berharap setelah standar tersebut diselesaikan, Google dan perusahaan teknologi lainnya akan mengadopsinya dan menghormati aturan robots.txt yang baru saat meng-crawl konten.