BlockRank baru Google mendemokratisasikan pencarian semantik tingkat lanjut – Beragampengetahuan

Sebuah makalah penelitian baru dari Google DeepMind mengusulkan algoritma peringkat pencarian kecerdasan buatan baru yang disebut BlockRank yang bekerja cukup baik untuk memungkinkan individu dan organisasi mencapai peringkat pencarian semantik tingkat lanjut. Para peneliti menyimpulkan bahwa hal ini “dapat mendemokratisasi akses terhadap alat penemuan informasi yang kuat.”

Peringkat Kontekstual (ICR)

Makalah penelitian ini menjelaskan terobosan penggunaan pemeringkatan kontekstual (ICR), sebuah metode pemeringkatan halaman web yang memanfaatkan kekuatan pemahaman kontekstual dari model bahasa besar.

Ini meminta model:

1. Pernyataan misi (misalnya, “Beri peringkat halaman ini”)
2. Dokumen kandidat (halaman untuk menentukan peringkat)
3. dan permintaan pencarian.

ICR adalah metode yang relatif baru, pertama kali dieksplorasi pada tahun 2024 oleh para peneliti di Google DeepMind dan Google Research (Bisakah model bahasa konteks panjang menyertakan pengambilan, RAG, SQL, dll.? PDF). Penelitian awal menunjukkan bahwa ICR dapat menyaingi kinerja sistem pengambilan yang dibangun khusus untuk pencarian.

Namun peningkatan ini juga memiliki kelemahan yaitu memerlukan daya komputasi yang terus meningkat seiring dengan bertambahnya jumlah halaman untuk menentukan peringkat.

Ketika model bahasa besar (LLM) membandingkan beberapa dokumen untuk menentukan dokumen mana yang paling relevan dengan kueri, model tersebut harus “memperhatikan” setiap kata di setiap dokumen dan bagaimana setiap kata berhubungan dengan semua kata lainnya. Semakin banyak dokumen yang ditambahkan, proses perhatian ini menjadi lebih lambat seiring dengan meningkatnya beban kerja secara eksponensial.

Studi baru ini mengatasi masalah efisiensi ini, itulah sebabnya makalah penelitian ini disebut “Peringkat kontekstual yang dapat diskalakan menggunakan model generatif” karena makalah ini menunjukkan cara menskalakan peringkat kontekstual (ICR) menggunakan apa yang mereka sebut BlockRank.

Bagaimana BlockRank dikembangkan

Para peneliti memeriksa bagaimana model sebenarnya menggunakan perhatian selama pengambilan konteks dan menemukan dua pola:

• Ketersebaran blok antar-dokumen:
  Para peneliti menemukan bahwa ketika suatu model membaca sekumpulan dokumen, model tersebut cenderung berfokus terutama pada setiap dokumen satu per satu daripada membandingkannya satu sama lain. Mereka menyebutnya “ketersebaran potongan”, yang berarti hanya ada sedikit perbandingan langsung antara berbagai dokumen. Berdasarkan wawasan ini, mereka mengubah cara model membaca masukan sehingga model meninjau sendiri setiap dokumen namun tetap membandingkan semua dokumen dengan pertanyaan yang diajukan. Hal ini mempertahankan bagian penting dalam mencocokkan dokumen dengan kueri sambil melewatkan perbandingan dokumen-ke-dokumen yang tidak perlu. Hasilnya adalah sistem yang berjalan lebih cepat tanpa kehilangan akurasi.
• Dependensi blok dokumen kueri:
  Saat LLM membaca kueri, LLM tidak memperlakukan setiap kata dalam pertanyaan sebagai hal yang sama pentingnya. Bagian tertentu dari pertanyaan, seperti kata kunci spesifik atau tanda baca yang menunjukkan maksud, dapat membantu model memutuskan dokumen mana yang perlu mendapat perhatian lebih. Para peneliti menemukan bahwa pola perhatian internal model, khususnya bagaimana kata-kata tertentu dalam kueri terfokus pada dokumen tertentu, sering kali konsisten dengan dokumen terkait. Perilaku ini mereka sebut “korelasi blok dokumen-kueri”, dan peneliti dapat melatih model untuk menggunakannya secara lebih efektif.

Para peneliti mengidentifikasi dua cara perhatian ini dan kemudian merancang metode baru berdasarkan apa yang mereka pelajari. Pola pertama, ketersebaran blok antar-dokumen, menunjukkan bahwa model tersebut membuang-buang komputasi dengan membandingkan dokumen satu sama lain ketika informasinya tidak berguna. Mode kedua, menanyakan dependensi blok dokumen, menunjukkan bahwa beberapa bagian pertanyaan sudah mengarah ke dokumen yang benar.

Berdasarkan wawasan ini, mereka mendesain ulang cara model menangani perhatian dan cara pelatihannya. Hasilnya adalah BlockRank, bentuk pengambilan kontekstual yang lebih efisien yang mengurangi perbandingan yang tidak perlu dan mengajarkan model untuk fokus pada konten yang benar-benar menunjukkan relevansi.

Akurasi Tolok Ukur BlockRank

Para peneliti menguji efektivitas BlockRank dalam memeringkat dokumen berdasarkan tiga tolok ukur utama:

• bel
  Kumpulan berbagai tugas pencarian dan tanya jawab yang menguji kemampuan sistem untuk menemukan dan mengurutkan informasi relevan di berbagai topik.
• Nona Marco
  Kumpulan data besar berisi kueri dan paragraf pencarian Bing asli yang digunakan untuk mengukur seberapa akurat sistem memberi peringkat pada paragraf yang paling menjawab pertanyaan pengguna.
• Pertanyaan Alami (NQ)
  Tolok ukur dibangun dari pertanyaan pencarian Google yang sebenarnya untuk menguji apakah sistem dapat mengidentifikasi dan memberi peringkat pada bagian-bagian di Wikipedia yang secara langsung menjawab pertanyaan-pertanyaan tersebut.

Mereka menggunakan Mistral LLM dengan 7 miliar parameter dan membandingkan BlockRank dengan model peringkat canggih lainnya, termasuk FIRST, RankZephyr, RankVicuna, dan garis dasar Mistral yang sepenuhnya disesuaikan.

BlockRank berkinerja sama baik atau lebih baik daripada sistem ini pada ketiga tolok ukur, cocok dengan hasil MS MARCO dan Natural Questions, dan berkinerja sedikit lebih baik di BEIR.

Para peneliti menjelaskan hasilnya:

“Eksperimen pada MSMarco dan NQ menunjukkan bahwa BlockRank (Mistral-7B) memenuhi atau melampaui efek penyesuaian standar sekaligus meningkatkan efisiensi inferensi dan pelatihan secara signifikan. Hal ini memberikan pendekatan yang terukur dan efisien untuk ICR berbasis LLM.”

Mereka juga mengakui bahwa mereka tidak menguji beberapa LL.M. dan hasil ini khusus untuk Mistral 7B.

Apakah Google menggunakan BlockRank?

Makalah penelitian tidak menyebutkan penggunaannya di lapangan. Jadi mengatakan itu mungkin digunakan adalah murni spekulasi. Selain itu, wajar untuk mencoba menentukan di mana BlockRank cocok dalam Mode AI atau Ikhtisar AI, tetapi deskripsi tentang cara kerja FastSearch dan RankEmbed Mode AI sangat berbeda dari cara kerja BlockRank. Oleh karena itu, BlockRank kemungkinan tidak terkait dengan FastSearch atau RankEmbed.

Mengapa BlockRank merupakan sebuah terobosan

Makalah penelitian ini mencatat bahwa ini adalah teknologi terobosan yang menyediakan sistem pemeringkatan tingkat lanjut bagi individu dan organisasi yang biasanya tidak memiliki akses terhadap teknologi pemeringkatan berkualitas tinggi ini.

Para peneliti menjelaskan:

“Pendekatan BlockRank membuat pengambilan semantik tingkat tinggi secara komputasi lebih mudah dilakukan dan mendemokratisasikan akses ke alat penemuan informasi yang canggih dengan meningkatkan efisiensi dan skalabilitas pengambilan kontekstual (ICR) dalam model bahasa besar (LLM). Hal ini dapat mempercepat penelitian, meningkatkan hasil pendidikan dengan menyediakan informasi yang lebih relevan secara cepat, dan memberdayakan individu dan organisasi dengan kemampuan pengambilan keputusan yang lebih baik.”

Selain itu, peningkatan efisiensi secara langsung berarti pengurangan konsumsi energi untuk aplikasi LLM yang memerlukan pengambilan secara intensif, sehingga berkontribusi terhadap pengembangan dan penerapan AI yang lebih ramah lingkungan.

BlockRank juga dapat memperluas cakupan penerapan teknik ini di lingkungan dengan sumber daya terbatas dengan mengaktifkan ICR yang efisien pada model yang berpotensi lebih kecil atau lebih optimal. “

SEO dan penerbit bebas mengungkapkan pendapat mereka tentang apakah fitur ini harus tersedia untuk Google. Saya rasa tidak ada bukti mengenai hal ini, namun akan menarik untuk menanyakannya kepada Googler.

Google tampaknya menyediakan BlockRank di GitHub, tetapi tampaknya belum ada kode apa pun yang tersedia.

Baca tentang BlockRank di sini:
Pemeringkatan kontekstual yang dapat diskalakan menggunakan model generatif

Gambar unggulan milik Shutterstock/Nithid