Cloudflare menyediakan cara untuk memblokir ikhtisar AI – akankah Google mematuhi? – Beragampengetahuan

Cloudflare hari ini mengumumkan fitur baru yang memungkinkan Anda menggunakan konten Anda dalam ikhtisar Google AI (dan pelatihan AI) melalui robots.txt.

• Strategi pensinyalan konten baru CloudFlare bertujuan untuk memberi penerbit lebih banyak kontrol atas bagaimana crawler dan robot menggunakan data mereka daripada instruksi tradisional yang hanya dapat menyesuaikan crawl dan indeks.

Cara kerjanya. Kebijakan ini menambahkan tiga instruksi baru yang dapat dibaca mesin ke robot.txt:

• search: Bangun indeks pencarian dan izin tampilan untuk tautan/fragmen (pencarian tradisional).
• ai-input: Memungkinkan penggunaan konten sebagai input ke jawaban yang dihasilkan AI.
• ai-train: Memungkinkan pelatihan model AI menggunakan konten.

Misalnya:

User-Agent: *
Content-Signal: search=yes, ai-train=no
Allow: /

Cloudflare akan secara otomatis menambahkan arahan ini ke jutaan situs pelanggan yang sudah menggunakan layanan bot yang di -host.

Ya, tapi. Google belum berkomitmen untuk memperingati instruksi.

• CEO CloudFlare, Matthew Prince, mengatakan kepada pesan itu (wajib berlangganan) bahwa Google menunjuk ke sinyal konten, tetapi tidak mengatakan apakah itu akan menghormati sinyal ulang.
• Petunjuk Robots.txt tidak mengikat secara hukum, dan Cloudflare mengakui bahwa beberapa perusahaan dapat mengabaikannya.

Mengapa kita peduli. Akankah Google atau perusahaan AI lainnya secara sukarela mematuhi? Saya ragu. Namun, opsi baru ini setidaknya memberi Anda cara untuk menunda itu – cara untuk mengatakan “adalah pencarian, tidak, tidak, hindari ikhtisar AI”, kontrol yang tidak ada sama sekali sebelumnya. Ini penting karena jawaban yang dihasilkan AI telah dikritik secara luas karena mengikis lalu lintas dan telah menghasilkan sedikit hadiah.

GAMBAR BESAR:

• Cloudflare mengatakan bahwa pada tahun 2029, bot dapat melebihi lalu lintas manusia di internet, meningkatkan taruhan bagi alat penerbit untuk menggunakan kembali konten mereka.
• Perusahaan telah merilis kebijakan sinyal kontennya di bawah a Lisensi CC0 Dorong adopsi di luar basis pelanggan Anda sendiri, berharap ini akan menjadi standar industri yang lebih luas.
• Tetapi Cloudflare juga menunjukkan bahwa sinyal tidak cukup. Penerbit yang menginginkan kontrol yang lebih ketat harus menggabungkannya dengan manajemen robot dan aturan firewall.

Intinya. Kecuali Google dan orang lain secara resmi mengenali dan mengikuti instruksi ini, penerbit masih akan berada dalam situasi kehilangan: menjaga konten terbuka dan risiko penyalahgunaan, atau mematikannya sama sekali.

Pengumuman Cloudflare. Pilih Kebijakan Pensinyalan Konten Baru CloudFlare untuk Pengguna