Bagaimana membangun AI agen ketika data tidak dapat keluar dari jaringan – Beragampengetahuan

Jelas, LL.M. dengan penguasaan semua bahasa manusia, pengetahuan lengkap tentang Dante Alighieri, dan ahli dalam menulis kode Haskell umumnya tidak diperlukan. Anda tidak memerlukan kemampuan komprehensif untuk memutuskan API mana yang akan dipanggil untuk melakukan pemeriksaan cuaca atau memformat tabel yang menunjukkan suhu rata-rata selama beberapa hari ke depan di Salerno, Italia.

Bagi banyak pengembang, masalahnya lebih dari sekadar masalah yang berlebihan. Dalam produk atau organisasi yang kode, dokumentasi, atau data operasionalnya dirahasiakan, mengirimkan petunjuk dan konteks ke Claude, GPT, atau layanan serupa bukanlah suatu pilihan. Akses internet mungkin dibatasi, data mungkin tidak diperbolehkan meninggalkan jaringan, dan “hanya menggunakan LLM yang dihosting” tidak dimungkinkan.

Hal ini menciptakan masalah yang menarik: tim ingin menggunakan AI, namun tidak dengan cara yang biasanya dikemas dan dijual.

Model bahasa kecil menawarkan jalan keluar. Karena mereka dapat berjalan di server lokal atau lokal yang sederhana, sistem agen dapat dibangun dengan desain yang bersifat pribadi—menangani inferensi, pengambilan, dan pengambilan keputusan tanpa membocorkan data ke cloud. Dalam hal ini, artikel ini membahas tentang cara menggunakan kecerdasan buatan ketika cara konvensional untuk menggunakannya tidak memungkinkan.

Bagaimana Model Bahasa Kecil (SLM) Membantu Memecahkan Masalah Privasi Agen

Sistem Agen AI biasanya berperilaku sebagai model bahasa tunggal besar yang memanggil alat dalam satu lingkaran. Meskipun pendekatan ini mudah untuk dibuat prototipenya, pendekatan ini akan cepat rusak jika diterapkan di dunia nyata: keterbatasan privasi, biaya, latensi, dan keandalan semuanya menjadi kendala utama.

Penelitian terbaru tentang SLM menunjukkan jalan yang berbeda. Daripada memperluas kecerdasan melalui model yang lebih besar dan terpusat, kita dapat membangun sistem agen yang terdiri dari beberapa SLM khusus yang berjalan secara lokal secara default dan hanya ditingkatkan ke cloud ketika diperlukan ekspresi, bukan inferensi.

Dalam makalah ini, kami merancang arsitektur agen yang mengutamakan privasi yang secara langsung merujuk pada evaluasi empiris terbaru SLM, khususnya ThinkSLM: Reasoning in Small Language Models (EMNLP 2025). Daripada memilih model berdasarkan popularitas atau intuisi, kami memperoleh peran arsitektur dari fungsionalitas yang diukur.

Mengapa keputusan arsitektur memerlukan bukti

Janji dari SLM bukanlah bahwa mereka adalah “LLM yang lebih kecil,” namun bahwa mereka menunjukkan trade-off kemampuan yang berbeda. Tantangannya adalah memahami tugas mana yang dapat mereka tangani dengan baik dan mana yang tidak.

Makalah ThinkSLM secara langsung mengatasi masalah ini dengan mengevaluasi 72 model bahasa kecil pada 17 tolok ukur penalaran, yang mencakup tugas-tugas penalaran logis, aritmatika, akal sehat, dan simbolik. Yang penting, hasilnya menunjukkan bahwa kekuatan inferensial SLM bukanlah biner dan tidak ditentukan secara ketat oleh jumlah parameter. Sebaliknya, kinerja sangat bergantung pada kelompok model, strategi pelatihan, dan teknik waktu inferensi.

Hal ini membuat SLM sangat menarik untuk sistem agen, dimana komponen yang berbeda memerlukan jenis kecerdasan yang berbeda.

Apa sebenarnya kemampuan SLM?

Sebelum merancang arsitektur, kita dapat mengambil empat kesimpulan praktis dari ThinkSLM.

1. Inferensi layak dilakukan dalam model parameter 1-3B

ThinkSLM menunjukkan bahwa beberapa model dalam rentang parameter 1-3B, terutama model keluarga Phi, mencapai kinerja inferensi multi-langkah yang kuat dibandingkan dengan ukurannya. Model-model ini secara konsisten mengungguli model sub-1B yang lebih kecil dan banyak model alternatif berukuran serupa pada tugas inferensi terstruktur.

2. Komputasi lebih penting daripada skala saat pengujian

Temuan penting adalah bahwa pengujian perpanjangan waktu (multigenerasi, konsisten sendiri, pemungutan suara mayoritas) secara signifikan meningkatkan akurasi inferensi SLM. Dalam beberapa kasus, hal ini dapat menutup kesenjangan dengan model yang lebih besar.

3. Model Sub-1B memiliki kemampuan penalaran yang buruk namun kemampuan klasifikasinya kuat.

SLM yang lebih kecil secara konsisten berkinerja buruk pada tolok ukur inferensi tetapi masih efektif dalam tugas-tugas berorientasi klasifikasi seperti deteksi dan pemfilteran maksud.

4. Generasi terbatas lebih menyukai model yang lebih kecil

Tugas yang membatasi ruang hipotesis—seperti retrieval-augmented generation (RAG)—tidak mendapatkan keuntungan dari kemampuan generatif yang besar. Dalam lingkungan seperti ini, model yang lebih kecil tetap stabil dan dapat diandalkan, terutama ketika ilusi harus diminimalkan.

Temuan ini memberikan dasar yang jelas untuk memperoleh arsitektur kami.

Prinsip turunan tambahan: Penalaran, pengambilan, dan ekspresi adalah masalah yang berbeda. Salah satu implikasi terpenting dari ThinkSLM adalah bahwa penalaran tidak sama dengan pembuatan teks yang lancar. Banyak sistem agen menggabungkan keduanya dengan menggunakan satu model besar.

Sebaliknya, bukti mendukung pemisahan kekhawatiran:

• Penalaran dan perencanaan: kecil, terstruktur, terlokalisasi
• Pencarian dan sintesis: terbatas, sensitif terhadap privasi, lokal
• Ekspresi dan kreativitas: opsional, gaya, eksternal

Prinsip ini mendasari keseluruhan desain: pada tingkat tinggi, sistem terdiri dari

• Penjabat Manajer (Koordinator Non-LL.M.),
• beberapa SLM khusus, masing-masing dipilih untuk peran yang sempit,
• Basis data vektor lokal untuk dokumen pribadi,
• dan cloud fallback hanya untuk ekspresif.

Yang terpenting, dokumen pribadi tidak pernah keluar dari perangkat.

Desain komponen

Tabel berikut merinci komponen inti sistem, tanggung jawabnya, dan alasan setiap pilihan desain berhasil dalam praktiknya.

Dalam arsitektur ini, cloud hanya digunakan setelah inferensi selesai, dan hanya pada keluaran yang sudah dibersihkan.

Arsitektur ini berfungsi dalam praktiknya karena memastikan privasi berdasarkan desain melalui lokalitas data yang diterapkan secara arsitektural: model dan data yang dioperasikannya berada di jaringan internal. Selain itu, karena model sebesar ini dapat diterapkan pada GPU yang lebih murah (dalam hal harga SKU dan konsumsi daya), model ini mencapai skalabilitas. Aspek lain yang relevan dari SLM adalah kemampuan auditnya: dibandingkan dengan LLM, SLM kurang “kreatif” dan deterministik, yang dalam banyak kasus merupakan keuntungan. Yang terakhir, ini memberikan efisiensi biaya karena sebagian besar permintaan tidak pernah mencapai cloud LLM API.

Pada diagram di atas, keseluruhan penerapan sistem dijelaskan beserta detail setiap komponennya. Tahap terakhir, mengeksekusi LLM di bagian cloud, adalah untuk ekspresif dan bersifat opsional: tidak setiap kasus penggunaan memerlukan respons bahasa alami (misalnya memasukkan data ke dasbor).

Kasus penggunaan perusahaan yang menginspirasi

Pertimbangkan perusahaan yang beroperasi di bawah lokalisasi data yang ketat dan batasan peraturan seperti GDPR, yang mengharuskan dokumen internal, log, dan kode sumber tidak diizinkan keluar dari jaringan perusahaan. Tim ingin memberikan dukungan bantuan AI untuk alur kerja internal, seperti menanyakan dokumen pribadi, mengklasifikasikan insiden, dan menghasilkan langkah-langkah remediasi terstruktur, namun persyaratan kebijakan dan kepatuhan melarang pengiriman tip atau konteks ke LLM yang dikelola.

Dalam hal ini, sebagian besar permintaan memerlukan klasifikasi maksud yang andal, penalaran multi-langkah, dan pengambilan data rahasia, bukan pembuatan teks terbuka. Arsitektur yang dijelaskan di atas memungkinkan fungsi-fungsi ini berjalan sepenuhnya secara lokal menggunakan SLM khusus: model yang lebih kecil menangani deteksi niat dan penegakan kebijakan, model inferensi 1-3B melakukan dekomposisi tugas, dan komponen RAG lokal mensintesis jawaban dari dokumen pribadi yang disimpan dalam database vektor internal. Cloud LLM (jika digunakan) hanya akan dipanggil setelah konteks sensitif dihapus, dan hanya untuk penulisan ulang keluaran opsional.

sebagai kesimpulan

Pelajaran utama dari ThinkSLM bukanlah bahwa model bahasa kecil “cukup baik”, namun inferensi, klasifikasi, pengambilan, dan representasi pada dasarnya merupakan masalah yang independen. Setelah dipisahkan, fungsi-fungsi ini dapat diproses oleh model yang mudah dijalankan pada GPU komoditas, menjadikan penerapan lokal atau sepenuhnya lokal tidak hanya layak dilakukan, namun juga praktis.

Pergeseran ini paling penting dalam skenario di mana LLM yang dihosting besar runtuh: produk rahasia, jaringan terbatas, dan sistem di mana data tidak dapat keluar dari perimeter. Dalam lingkungan seperti ini, model bahasa kecil bukanlah kompromi yang dipaksakan oleh batasan—merupakan keunggulan arsitektural.

Oleh karena itu, masa depan agen AI bukanlah tentang satu model mahatahu yang memikirkan segala hal. Ia memiliki banyak SLM khusus, diatur secara cerdas dan dijalankan dekat dengan data. Untuk tim yang ingin menggunakan AI tetapi tidak dapat menggunakannya dengan cara biasa, pendekatan ini mengubah batasan menjadi pola desain yang bisa diterapkan.