Kondisi Jumlah HMC dan Corong – Beragampengetahuan

Artikel ini berasal dari Bob.

Mengembalikan beberapa perhitungan statistik teknis.

Nomor kondisi berjalan acak

Konsep umum bilangan bersyarat adalah rasio nilai eigen minimum dari Hessian terbesar. Nilai eigen yang lebih besar sesuai dengan kelengkungan tinggi dan nilai eigen kecil sesuai dengan kelengkungan rendah. Jumlah kondisi penting karena ukuran langkah harus cukup kecil untuk mengatasi area kelengkungan tinggi, sehingga banyak langkah diperlukan untuk melintasi area datar kurva rendah. Hessian negatif memiliki nilai eigen seperti perbedaan terbalik (mereka adalah perbedaan terbalik dalam banyak normal dengan matriks kovarians diagonal), dan oleh karena itu adalah skala persegi. Jika ukuran langkah diatur agar konsisten dengan arah kelengkungan tertinggi, Anda harus mengambil langkah yang sama dengan angka kondisi untuk bergerak ke arah kelengkungan terendah – ini adalah nomor kondisi. Berapa banyak langkah yang diperlukan untuk mendapatkan hasil imbang yang kira -kira mandiri.

Corong Neil

Radford Neal memperkenalkan kepadatan corong ke dalam kertas sampel yang diiris. Saya pikir dia tahu betul betapa mengganggu contoh ini. Corong adalah parameterisasi pusat dari model hierarkis, tanpa data dalam dimensi N:

y ~ normal(0, 3)
x[1:N - 1] ~ normal(0, exp(y / 2))


Ini adalah diagram kepadatan y relatif x[1] Dari Panduan Pengguna Stan Bab tentang rekombinasi.

Saat Anda bergerak di sepanjang sumbu Y antara +6 dan -6, angka kondisi berubah dari 1000 menjadi sekitar 1000 pada titik asal. Dari kondisinya, mulut dan leher corong rumit. Ini hanya +/- dua standar deviasi, hanya 95% dari massa probabilitas. Satu hal yang membuat corong menjengkelkan adalah bahwa selama transisi dari -6 ke 6, eigenstruktur berubah dengan vektor eigen utama (satu dengan nilai eigen terbesar), dan akan diselaraskan dari sepanjang sumbu x di sepanjang sumbu y.

Sulit untuk memperkirakan ketidakpastian dalam corong menggunakan pengambilan sampel atau bahkan pengambilan sampel independen. Masalahnya adalah x[n]^2 Sekitar 100, tapi x[n]^4 Rata -rata adalah 2 x 10^8 (!), Jadi x[n]^2 Deviasi standar itu sendiri adalah 1,4 x 10^4 (saya menggunakan fakta itu var[X^2] = E[X^4] - E[X^2]^2). Karena nilai di bawah ini adalah 0. Bahkan jika 10 miliar plot independen diambil dari corong, perkiraan jumlah X-koordinat dan varian tersebar di seluruh dunia.

Nomor Kondisi HMC

Alasan HMC sangat efektif adalah karena itu mengatasi perilaku berjalan acak metropolis. Jika metropolis membutuhkan beban kerja dari jarak yang bergerak o (n^2), maka HMC hanya membutuhkan O (n^5/4). Namun, karena kondisi mengintai dalam hasil kompleksitas asimptotik, masih ada konstanta yang mengganggu.

Saya tidak tahu bagaimana saya melewatkannya sebelumnya, tetapi saya hanya belajar tentang makalah ini di konferensi MCM di Chicago bulan lalu:

• Langmore, I., Dikovsky, M., Geraedts, S., Norgaard, P. dan Von Behren, R., 2019. Nomor Kondisi untuk Hamilton Monte Carlo. ARXIV Preprint ARXIV: 1905.09813.

Langmore et al. Memperkenalkan konsep kondisi HMC yang sesuai,

kappa = [ SUM_{n=1}^N (lambdaMax / lambda[n])^4 ]^(1/4)


Di mana lambda[1:N] adalah nilai eigen dari Hessian negatif, dan lambdaMax = max(lambda[1:N]). Ini memberi tahu kita bahwa memiliki nilai eigen yang besar (dimensi yang sangat melengkung) dan banyak nilai eigen kecil (dimensi datar) lebih buruk daripada yang sebaliknya. Oleh karena itu, corong sebenarnya lebih buruk daripada kondisi HMC leher daripada leher. Di mulut, nilai eigen terbesar sesuai dengan gerakan yang relatif lambat y Sumbu dan x Sumbu jauh lebih rendah daripada relatif terhadap kelengkungan. Leher sering dianggap bahwa akar masalahnya adalah bahwa algoritma rentang dalam HMC hanyalah perkiraan tingkat pertama (yaitu, berbasis gradien) dari lintasan Hamiltonian dan dapat dengan cepat dibedakan di daerah kelengkungan tinggi. Ternyata jika Anda menggunakan HMC atau Nut dan menggunakan ukuran langkah tetap, Anda tidak dapat menjelajahi leher atau mulut corong dengan baik.

ekonomi kreatif, ilmu ekonomi adalah, pelaku ekonomi
, kegiatan ekonomi adalah, sistem ekonomi

#Kondisi #Jumlah #HMC #dan #Corong