Google diam-diam memberi sinyal kepada NotebookLM untuk mengabaikan Robots.txt – Beragampengetahuan

Google diam-diam memperbarui daftar pengambil yang dipicu pengguna dengan dokumentasi baru untuk Google NotebookLM. Arti penting dari perubahan yang tampaknya kecil ini adalah jelas bahwa Google NotebookLM tidak akan menghormati robots.txt.

LM Buku Catatan Google

NotebookLM adalah alat penelitian dan penulisan kecerdasan buatan yang memungkinkan pengguna menambahkan URL halaman web yang akan memproses konten, kemudian memungkinkan pengguna untuk mengajukan serangkaian pertanyaan dan menghasilkan ringkasan berdasarkan konten.

Alat Google dapat secara otomatis membuat peta pikiran interaktif yang mengatur topik di situs web dan mengekstrak poin-poin penting darinya.

Perayap yang dipicu pengguna mengabaikan Robots.txt

Fetcher yang dipicu pengguna Google adalah proxy jaringan yang dipicu pengguna yang mengabaikan protokol robots.txt secara default.

Menurut dokumentasi Pengambil Pemicu Pengguna Google:

“Karena ekstraksi diminta oleh pengguna, ekstraktor ini sering kali mengabaikan aturan robots.txt.”

Google-NotebookLM mengabaikan Robots.txt

Tujuan robots.txt adalah memberi penerbit kendali atas robot yang mengindeks halaman mereka. Namun proxy seperti ekstraktor Google-NotebookLM tidak mengindeks konten web; mereka mewakili pengguna yang berinteraksi dengan konten situs web melalui NotebookLM Google.

Bagaimana cara memblokir NotebookLM

Google menggunakan Google-NotebookLM Agen pengguna saat mengekstraksi konten situs web. Oleh karena itu, penerbit yang ingin mencegah pengguna mengakses kontennya dapat membuat aturan yang secara otomatis memblokir agen pengguna tersebut. Misalnya, solusi sederhana untuk penerbit WordPress adalah menggunakan Wordfence untuk membuat aturan khusus yang memblokir semua pengunjung situs yang menggunakan agen pengguna Google-NotebookLM.

Cara lain adalah dengan menggunakan .htaccess menggunakan aturan berikut:

<IfModule mod_rewrite.c> RewriteEngine On RewriteCond %{HTTP_USER_AGENT} Google-NotebookLM [NC] RewriteRule .* - [F,L] </IfModule>

Gambar unggulan milik Shutterstock/Tithi Luadthong