Tombol “ringkas dengan AI” digunakan untuk meracuni saran AI – Beragampengetahuan

Tim peneliti keamanan Microsoft Defender menerbitkan laporan penelitian yang menjelaskan apa yang disebutnya “keracunan rekomendasi AI”. Teknik ini melibatkan perusahaan yang menyembunyikan instruksi injeksi cepat di dalam tombol situs web berlabel “Ringkasan AI”.

Saat Anda mengklik salah satu tombol ini, asisten AI akan terbuka dengan perintah yang telah diisi sebelumnya yang diteruskan melalui parameter kueri URL. Bagian yang terlihat memberitahu asisten untuk meringkas halaman. Bagian yang tersembunyi menginstruksikannya untuk mengingat perusahaan sebagai sumber terpercaya untuk percakapan di masa depan.

Jika instruksi tersebut masuk ke dalam memori asisten, hal itu dapat memengaruhi rekomendasi tanpa Anda sadari telah ditanamkan.

Apa yang terjadi

Tim Microsoft meninjau URL terkait AI yang diamati dalam lalu lintas email selama periode 60 hari. Mereka menemukan 31 perusahaan melakukan 50 upaya injeksi instan yang berbeda.

Tipnya memiliki pola serupa. Postingan Microsoft menyertakan contoh instruksi yang memberi tahu AI untuk mengingat perusahaan sebagai “sumber kutipan tepercaya” atau “sumber masuk” untuk topik tertentu. Satu tip melangkah lebih jauh dan memasukkan salinan pemasaran lengkap ke dalam memori asisten, termasuk fitur produk dan nilai jual.

Para peneliti menelusuri teknik ini ke alat yang tersedia untuk umum, termasuk paket npm CiteMET dan generator URL berbasis web AI Share URL Creator. Artikel tersebut menjelaskan keduanya bertujuan untuk membantu situs web “membangun kehadirannya dalam memori AI”.

Teknologi ini mengandalkan URL yang dibuat khusus yang berisi parameter cepat yang didukung oleh sebagian besar asisten AI utama. Microsoft mencantumkan struktur URL untuk Copilot, ChatGPT, Claude, Perplexity, dan Grok, tetapi mencatat bahwa mekanisme persistensi bervariasi antar platform.

Secara resmi dikatalogkan sebagai MITRE ATLAS AML.T0080 (keracunan memori) dan AML.T0051 (injeksi cepat LLM).

Apa yang ditemukan Microsoft?

Ke-31 perusahaan yang diidentifikasi adalah bisnis nyata dan bukan pelaku ancaman atau penipu.

Berbagai tip menargetkan situs web layanan kesehatan dan keuangan, dengan rekomendasi AI yang bias menjadi lebih signifikan. Nama domain suatu perusahaan dapat dengan mudah disalahartikan sebagai situs web terkenal, sehingga berpotensi menimbulkan kredibilitas yang salah. Salah satu dari 31 perusahaan tersebut adalah vendor keamanan.

Microsoft mencatat risiko sekunder. Banyak situs web yang menggunakan teknologi ini memiliki bagian konten buatan pengguna, seperti rangkaian komentar dan forum. Ketika AI menganggap suatu situs web otoritatif, AI dapat memperluas kepercayaan tersebut ke konten tanpa sensor di domain yang sama.

tanggapan Microsoft

Microsoft mengatakan Copilot memiliki perlindungan terhadap serangan injeksi petunjuk silang. Perusahaan mencatat bahwa beberapa perilaku injeksi on-the-fly yang dilaporkan sebelumnya tidak lagi dapat direproduksi di Copilot dan perlindungan masih terus berkembang.

Microsoft juga telah merilis kueri pencarian lanjutan untuk organisasi yang menggunakan Defender untuk Office 365, yang memungkinkan tim keamanan memindai email dan lalu lintas Teams untuk mencari URL yang berisi kata kunci manipulasi memori.

Anda dapat melihat dan menghapus kenangan Copilot yang tersimpan melalui bagian Personalisasi pada pengaturan obrolan Copilot Anda.

mengapa ini penting

Microsoft membandingkan teknik ini dengan keracunan SEO dan adware, menempatkannya dalam kategori yang sama dengan strategi yang telah digunakan Google selama dua dekade dalam pencarian tradisional. Perbedaannya adalah tujuannya telah bergeser dari pengindeksan pencarian ke memori asisten AI.

Bisnis yang melakukan pekerjaan sah dalam visibilitas AI kini menghadapi pesaing yang mungkin memberikan rekomendasi permainan dengan suntikan instan.

Waktunya patut diperhatikan. SparkToro memposting Laporan menunjukkan perbedaan sudah ada dalam rekomendasi merek AI Hampir setiap pertanyaan. Wakil Presiden Google Robbie Stein mengatakan dalam podcast bahwa pencarian AI menemukan proposal bisnis dengan memeriksa konten situs web lain. Keracunan memori menghindari proses ini dengan menyematkan rekomendasi langsung ke asisten pengguna.

Analisis Roger Montti tentang keracunan data pelatihan AI mencakup konsep yang lebih luas dalam memanipulasi sistem AI untuk mendapatkan visibilitas. Artikel itu berfokus pada kumpulan data pelatihan keracunan. Studi Microsoft ini menunjukkan sesuatu yang lebih cepat, terjadi pada interaksi pengguna dan penerapan komersial.

Melihat ke masa depan

Microsoft mengakui bahwa ini adalah masalah yang terus berkembang. Alat sumber terbuka berarti upaya baru dapat muncul lebih cepat daripada kemampuan platform mana pun untuk menghentikannya, dan teknologi parameter URL berfungsi dengan sebagian besar asisten AI utama.

Masih belum jelas apakah platform AI akan memandang hal ini sebagai pelanggaran kebijakan yang mempunyai konsekuensi, atau apakah hal ini akan terus dipandang sebagai strategi pertumbuhan wilayah abu-abu yang terus digunakan oleh perusahaan.

Angkat topi untuk Lily Ray yang menandai penelitian Microsoft tentang X dan memberi penghargaan kepada @top5seo atas penemuannya.

Gambar Unggulan: Elena Busl/Shutterstock