Seri Kuliah AI/ML STIG 9 Februari 2026 – Beragampengetahuan

Transformator listrik

pengajar

Helen Khoo, Besi Datar

Buat trafo khusus dekoder. (Model bahasa kecil mirip GPT) dari awal di PyTorch, dilatih pada kumpulan data Tiny Shakespeare untuk pemodelan bahasa tingkat karakter. dan menggunakannya untuk membuat teks. Pahami setiap elemen di sepanjang prosesnya.

Topik yang dibahas:

• Berempati dengan diri sendiri sebagai operator campuran yang terpelajar dan bergantung pada data.
• Perhatian diri kausal (tertutup) untuk pemodelan autoregresif.
• Buat blok Transformer gaya GPT dari awal.
• Tokenisasi dan penyematan
• Melatih model bahasa autoregresif kecil.
• Pembuatan pesan dengan pengambilan sampel suhu dan top-k

koneksi pertemuan

bergabung dalam pertemuan tersebut

Berita langsung ke kotak masuk Anda.

Berlangganan ke daftar berita email komunitas Anda.

daftar