Gambar priori dari inferensi rantai Bayesian – Beragampengetahuan

Artikel ini berasal dari Bob.

Profesor Statistik Columbia Chenyang Zhong memperkenalkan makalah berikut dalam kelompok membaca komputasi Bayesian kami pada hari Jumat.

• Chenyang Zhong, Shouxuan Ji, Tian Zheng. 2024. Pengambilan sampel MCMC cepat dengan grafik dengan distribusi sebelumnya yang tidak diketahui sebelumnya. arxiv 2408.02122.

Tujuannya adalah untuk dapat menghubungkan kesimpulan Bayesian pada aliran data tanpa bentuk pasca-analisis. Masalahnya adalah bahwa solusi buku teks yang menggunakan analisis keturunan (mis., Menggunakan β kemungkinan rantai binomial sebelumnya) hanya cocok untuk model konjugasi sederhana.

Model

Dalam hal ini, sebelumnya yang tidak diketahui dibentuk dari undian di belakang model sebelumnya. Untuk mengambil root dengan beberapa simbol, asumsikan bahwa model bersama kami adalah produk dari kemungkinan dan sebelumnya,

p (y, theta | x) = p (y | theta, x) * p (theta).

Data berurutan

Misalnya, pertimbangkan situasi di mana kami menerima serangkaian dataset

(x1, y1), (x2, y2), …, (xn, yn),….

Dalam kasus Chenyang, data bersifat pribadi, sehingga Anda dapat menganggap masalahnya sebagai pembelajaran bersama atau meta-analisis. Kami tahu kami dapat menginstal p (theta, y | x) dan mendapatkan post-lottery

theta_post (1),…, theta_post (m) ~ p (theta | x1, y1).

Chenyang berasumsi bahwa itu dapat dibagikan dan ditarik. Yang ingin kami lakukan adalah menganalisis data x2, y2, yaitu, menggunakan postp (theta | x1, y1) sebagai tes theta sebelumnya saat menganalisis data

p (theta | x1, x2, y1, y2) propto p (y2 | theta, x2) * p (theta | y1, x1).

Tapi kami tidak memiliki ekspresi bentuk tertutup dari p (theta | y1, x1), jadi apa yang harus kami lakukan?

Kepadatan kernel diperkirakan menjadi pasca-hal-hal pasca

Ide Chenyang adalah menggunakan perkiraan kepadatan kernel dasar normal sebagai P (theta | y1, x1). Secara khusus, yang akan dia lakukan adalah menulis pengalaman sebelumnya dan menghukum jarak persegi antara alun -alun dan alun -alun.

p (theta | y1, x1) sekitar 1/m sum_m normal (theta | theta_post (m), h * i),

di mana saya adalah matriks identitas dan h> 0 adalah parameter varians. Sebagian besar makalah Chenyang adalah tentang cara menghitung makalah ini secara efisien. Melalui “dimensi tinggi”, ia berbicara tentang dimensi 6 hingga 20 sedang. Dia membutuhkan sekitar 10.000. Dia kemudian menggunakan tetangga terdekat Theta untuk membangun cara yang benar -benar rapi untuk secara akurat melakukan sampel metropolitan.

Mudah untuk menentukan bahwa estimasi kemungkinan maksimum sebelumnya dan pasca-Mean akan menjadi rata-rata sampel (1), …, theta (m) yang ditarik di belakang. Intensitas yang berkonsentrasi pada rata-rata itu akan tergantung pada tingkat distribusi pasca-plot. Menariknya, upayanya tidak masalah, seberapa besar M, semakin tidak akurat. Tetapi itu akan tergantung pada istilah perbedaan h.

Bagaimana jika kita hanya menggunakan Stan?

Stan cepat dan cepat dalam perkiraan normal, jadi bagaimana jika kita hanya kode perkiraan kembali secara langsung alih -alih mencoba menggunakan grafik tetangga terdekat dan menyesuaikannya? Ternyata sangat bersih. Mengingat dataset dalam makalahnya, ini adalah regresi logistik N = 1500, membutuhkan stan 2s agar pas (x1, y1) dan posterior 35S agar pas (x2, y2) kembali (x2, y2), menggunakan 10.000 penarikan belakang, perkiraan bagian belakang (ini adalah 2017 iMac Pro saya, yang lambat dibandingkan dengan mac saat ini).

Saya menyandikan ini semua sebagai studi kasus Stan, yang dapat Anda temukan di sini, hasilnya:

• Studi kasus Stan setelah kernel tengah.

Saya harus menambahkan ini sebagai teknologi baru ke bagian ketiga Panduan Pengguna Stan? Pertanyaan ini ada di forum kami.

Apa yang tersisa?

Saya punya dua Empat pertanyaan tersisa setelah menginstal model.

1. Bagaimana cara mengatur istilah perbedaan h? Itu tidak mempengaruhi rata -rata, tetapi memengaruhi kekuatan kuat dari konsentrat sebelumnya. Chenyang menyebutkan sesuatu yang mungkin ingin Anda diskon di masa lalu, dan Anda bisa melakukannya. Apakah ada cara untuk mengaturnya dengan menyesuaikan h? Juga, apakah ada cara untuk mengatur yang terbaik sehingga bagian belakang fit akhir paling dekat dengan p (theta | x1, y1, x2, y2), jika kita ingin memperburuk masa lalu juga?
    
2. Berapa banyak undian belakang yang kita butuhkan? Dalam kasus yang sederhana, mungkin bukan 10.000!
    
3. Apakah ini cara yang lebih mudah untuk hanya melakukan perhitungan daripada memperkirakan matriks kovarian dan menggunakan multivariat normal? Alasan saya bertanya adalah bahwa saya tahu Anda dapat menghasilkan dari kovarians empiris dengan perbedaan dengan cara ini, yang merupakan persamaan untuk kertas pengambilan sampel affine oleh Goodman dan Weare (11).
    
4. Bagaimana metode ini menangani parameter kendala? Kita dapat menyimpan kode yang sama persis dan menjaga kendala pada parameter, dan semuanya harus berhasil, tetapi menempatkan beberapa perkiraan normal pada kutu yang tidak dibatasi (mis. Setelah logging untuk mengonversi parameter yang dibatasi secara formal) tampaknya lebih alami.

[edit: added third and fourth question]

ekonomi kreatif, ilmu ekonomi adalah, pelaku ekonomi
, kegiatan ekonomi adalah, sistem ekonomi

#Gambar #priori #dari #inferensi #rantai #Bayesian