Memo Google yang bocor mengaku dikalahkan oleh AI sumber terbuka – Beragampengetahuan

Memo Google yang bocor meringkas, poin demi poin, mengapa Google kalah dari AI sumber terbuka dan menjabarkan jalan untuk mendapatkan kembali dominasi dan memiliki platform.

Memo tersebut dimulai dengan mengakui bahwa pesaing mereka tidak pernah menjadi OpenAI, dan akan selalu menjadi open source.

Tidak dapat bersaing dengan open source

Selain itu, mereka mengakui bahwa mereka sama sekali tidak bersaing dengan open source, bahwa mereka telah kalah dalam pertarungan untuk dominasi AI.

Mereka menulis:

“Kami telah melakukan banyak pekerjaan di OpenAI. Siapa yang akan melewati tonggak sejarah berikutnya? Apa yang akan terjadi selanjutnya?

Tetapi kebenaran yang tidak menyenangkan adalah bahwa kami tidak diperlengkapi untuk memenangkan perlombaan senjata ini, begitu pula OpenAI. Faksi ketiga diam-diam memakan makan siang kami sementara kami bertengkar.

Tentu saja, saya berbicara tentang open source.

Terus terang, mereka menjilati kita. Apa yang kami anggap sebagai “masalah terbuka besar” telah diselesaikan dan berada di tangan orang-orang saat ini. “

Sebagian besar memo tersebut menjelaskan bagaimana open source mengalahkan Google.

Meskipun Google memiliki sedikit keunggulan dibandingkan open source, penulis memo tersebut mengakui bahwa memo tersebut hilang dan tidak pernah kembali lagi.

Analisis diri dari kartu metaforis yang mereka tangani sendiri agak pesimistis:

“Sementara model kami masih memiliki sedikit keunggulan dalam hal kualitas, jaraknya semakin dekat.

Model open source lebih cepat, lebih dapat disesuaikan, lebih pribadi, dan lebih bertenaga.

Mereka melakukan hal-hal dengan parameter $100 dan 13B, sementara kami berjuang dengan parameter $10M dan 540B.

Dan mereka melakukannya dalam hitungan minggu, bukan bulan. “

Ukuran model bahasa yang besar bukanlah keuntungan

Mungkin kesadaran paling mengerikan yang diungkapkan dalam memo itu adalah bahwa ukuran Google tidak lagi menguntungkan.

Ukuran tipis model mereka sekarang dilihat sebagai kerugian, bukan keuntungan yang tidak dapat diatasi yang mereka lihat.

Memo yang bocor menjabarkan serangkaian peristiwa yang menunjukkan cengkeraman Google (dan OpenAI) pada kecerdasan buatan akan segera berakhir.

Ini menceritakan bagaimana sebulan yang lalu, pada Maret 2023, komunitas open source mendapatkan model open source yang bocor yang disebut LLaMA, Model Bahasa Besar, yang dikembangkan oleh Meta.

Dalam beberapa hari dan minggu, komunitas open source global mengembangkan semua blok bangunan yang diperlukan untuk membuat klon Bard dan ChatGPT.

Langkah-langkah rumit seperti penyetelan instruksi dan pembelajaran penguatan dari umpan balik manusia (RLHF) dengan cepat direplikasi oleh komunitas sumber terbuka global, dan dengan harga yang mahal.

• penyetelan instruksi
  Proses fine-tuning model bahasa sehingga melakukan operasi tertentu yang awalnya tidak dilatih.
• Pembelajaran Penguatan dari Umpan Balik Manusia (RLHF)
  Suatu teknik di mana manusia menilai output dari model bahasa sehingga ia mempelajari output mana yang menyenangkan manusia.

RLHF adalah teknologi yang digunakan oleh OpenAI untuk membuat InstructGPT, yang merupakan model dasar ChatGPT, memungkinkan model GPT-3.5 dan GPT-4 untuk menerima instruksi dan menyelesaikan tugas.

RLHF adalah rabuk sumber terbuka

Skala sumber terbuka membuat takut Google

Apa yang menakutkan Google khususnya adalah gerakan open source dapat memperluas proyek mereka dengan cara yang tidak bisa dilakukan oleh closed source.

Kumpulan data penjawab pertanyaan yang digunakan untuk membuat klon ChatGPT sumber terbuka Dolly 2.0 dibuat sepenuhnya oleh ribuan sukarelawan karyawan.

Google dan OpenAI sebagian mengandalkan pertanyaan dan jawaban yang diperoleh dari situs seperti Reddit.

Dataset penjawab pertanyaan open-source yang dibuat oleh Databricks dikatakan berkualitas lebih tinggi karena orang-orang yang membuatnya adalah para profesional yang memberikan jawaban lebih baik daripada yang berasal dari forum publik.

Memo yang bocor mengamati:

“Pada awal Maret, komunitas open source mendapatkan model dasar pertama mereka yang benar-benar mumpuni, karena Meta’s LLaMA dibocorkan ke publik.

Tidak ada instruksi atau penyesuaian dialog, dan tidak ada RLHF.

Meski begitu, masyarakat segera memahami pentingnya apa yang mereka dapatkan.

Yang terjadi selanjutnya adalah sejumlah besar inovasi, dengan hanya beberapa hari di antara perkembangan besar…

Hanya satu bulan kemudian, kami di sini, dan memiliki varian penyetelan instruksi, kuantifikasi, peningkatan kualitas, evaluasi manusia, multimodalitas, RLHF, dan banyak lagi, banyak di antaranya dibangun di atas satu sama lain.

Yang terbaik dari semuanya, mereka telah memperbaiki masalah penskalaan yang dapat ditambal oleh siapa saja.

Banyak ide baru datang dari orang biasa.

Bilah untuk pelatihan dan eksperimen telah turun dari total keluaran lembaga penelitian besar menjadi satu orang, satu malam, dan laptop yang kuat. “

Dengan kata lain, Google dan OpenAI membutuhkan waktu berbulan-bulan atau bahkan bertahun-tahun untuk melatih dan membangun, membutuhkan waktu berhari-hari untuk komunitas open source.

Ini pasti skenario yang benar-benar mengerikan bagi Google.

Ini adalah salah satu alasan mengapa saya menulis begitu banyak tentang gerakan AI open source, karena sepertinya masa depan AI generatif ada di sini dalam waktu yang relatif singkat.

Sumber terbuka secara historis melampaui sumber tertutup

Memo tersebut mengutip pengalaman terbaru dengan DALL-E OpenAI, model pembelajaran mendalam untuk membuat gambar dibandingkan dengan Difusi Stabil sumber terbuka, memberi pertanda apa yang terjadi dengan AI generatif seperti Bard dan ChatGPT hari ini.

Dall-e dirilis oleh OpenAI pada Januari 2021. Versi sumber terbuka, Difusi Stabil, dirilis satu setengah tahun kemudian pada Agustus 2022 dan melampaui popularitas Dall-E hanya dalam beberapa minggu.

Grafik garis waktu ini menunjukkan seberapa cepat Difusi Stabil melampaui Dall-E:

Garis waktu Google Trends di atas menunjukkan bagaimana minat pada model Difusi Stabil sumber terbuka jauh melebihi Dall-E dalam waktu tiga minggu setelah dirilis.

Meskipun Dall-E telah tersedia selama satu setengah tahun, minat terhadap Difusi Stabil telah tumbuh secara eksponensial, sementara Dall-E OpenAI mengalami stagnasi.

Ancaman eksistensial dari peristiwa serupa di luar Bard (dan OpenAI) menciptakan mimpi buruk bagi Google.

Proses pembuatan model open source lebih unggul

Faktor lain yang mengkhawatirkan para insinyur Google adalah bahwa proses pembuatan dan peningkatan model sumber terbuka berlangsung cepat, murah, dan cocok dengan pendekatan kolaboratif global yang umum untuk proyek sumber terbuka.

Memo tersebut mencatat bahwa teknik baru seperti LoRA (Low-Rank Adaptation of Large Language Models) memungkinkan model bahasa disesuaikan dalam hitungan hari dengan biaya yang sangat rendah, dengan LLM yang dihasilkan sebanding dengan LLM yang sangat mahal yang dibuat oleh Google. dan OpenAI.

Manfaat lainnya adalah insinyur open source dapat membangun pekerjaan sebelumnya, mengulang, tanpa harus memulai dari awal.

Membangun model bahasa besar dengan miliaran parameter seperti yang dilakukan OpenAI dan Google tidak diperlukan saat ini.

Ini mungkin poin yang diisyaratkan Sam Alton baru-baru ini ketika dia menyarankan bahwa era model bahasa berskala besar telah berakhir.

Penulis memo Google membandingkan pendekatan LoRA yang murah dan cepat dengan pendekatan AI skala besar saat ini.

Penulis memo merefleksikan kekurangan Google:

“Sebaliknya, melatih model raksasa dari awal tidak hanya membuang pra-pelatihan, tetapi perbaikan iteratif apa pun yang dilakukan di atas. Di dunia sumber terbuka, peningkatan ini dapat dengan cepat menjadi dominan, membuat biaya pelatihan ulang penuh menjadi sangat mahal.

Kita harus mempertimbangkan apakah setiap aplikasi atau ide baru benar-benar membutuhkan model yang sama sekali baru.

…pada kenyataannya, dalam hal jam kerja teknisi, model ini meningkat jauh lebih cepat daripada varian terbesar kami, dan yang terbaik pada dasarnya tidak dapat dibedakan dari ChatGPT. “

Penulis menyimpulkan bahwa apa yang mereka lihat sebagai keunggulan mereka, yaitu ukuran model yang besar dan biaya tinggi yang menyertainya, sebenarnya merupakan kerugian.

Sifat kolaboratif global dari open source membuat inovasi lebih efisien dan lebih cepat.

Bagaimana sistem sumber tertutup bersaing dengan sebagian besar insinyur di seluruh dunia?

Para penulis menyimpulkan bahwa mereka tidak dapat bersaing dan persaingan langsung, dalam kata-kata mereka, adalah “proposisi yang kalah”.

Ini adalah krisis dan badai yang terbentuk di luar Google.

Jika Anda tidak bisa mengalahkan open source, bergabunglah dengan mereka

Satu-satunya pelipur lara yang ditemukan penulis memo dalam open source adalah karena inovasi open source gratis, Google juga dapat memanfaatkannya.

Pada akhirnya, penulis menyimpulkan bahwa satu-satunya cara untuk membuka Google adalah dengan memiliki platform tersebut, sama seperti mereka mendominasi platform open source Chrome dan Android.

Mereka menunjukkan bagaimana Meta mendapat manfaat dari merilis model bahasa besar LLaMA untuk penelitian, dan bagaimana mereka sekarang membiarkan ribuan orang melakukan pekerjaan mereka secara gratis.

Mungkin kesimpulan terbesar dari memo ini adalah bahwa Google mungkin dalam waktu dekat mencoba meniru dominasi open source mereka dengan merilis proyek mereka secara open source, sehingga memiliki platform tersebut.

Memo tersebut menyimpulkan bahwa open source adalah opsi yang paling memungkinkan:

“Google harus memposisikan dirinya sebagai pemimpin dalam komunitas open source, memimpin dengan terlibat dalam percakapan yang lebih luas daripada mengabaikannya.

Ini mungkin berarti mengambil langkah yang tidak nyaman seperti menerbitkan bobot model untuk varian ULM kecil. Ini berarti menyerahkan kendali atas model kita.

Tetapi kompromi seperti itu tidak bisa dihindari.

Kita tidak dapat berharap untuk mendorong sekaligus mengendalikan inovasi. “

Sumber terbuka menghilangkan api AI

Minggu lalu saya menyebutkan mitos Yunani tentang pahlawan manusia Prometheus yang mencuri api dari para dewa di Gunung Olympus, mengadu sumber terbuka Prometheus melawan “dewa Olympian” dari Google dan OpenAI:

SAYA tweet:

“Ketika Google, Microsoft, dan Open AI bertengkar satu sama lain dan membelakangi mereka, apakah open source akan hilang begitu saja?”

Memo Google yang bocor menguatkan pengamatan ini, tetapi juga menunjukkan kemungkinan bahwa Google dapat mengubah strategi dan bergabung dengan gerakan open source, sehingga memilih dan mendominasi, seperti yang mereka lakukan dengan Chrome dan Android.

Baca memo Google yang bocor di sini:

Google “Kami tidak memiliki parit, begitu pula OpenAI”