Beberapa sifat koefisien determinasi yang tidak banyak diketahui – Beragampengetahuan
Oleh: Blog Bogumił Kamiński
Repost dari:
Minggu lalu saya memposting tentang p .nilai dalam pengujian hipotesis.
Saya memutuskan untuk terus membahas statistik dasar hari ini.
Fokus saya adalah pada perhitungan koefisien korelasi Pearson
dan koefisien determinasi. Saya ingin fokus pada standar yang sebenarnya
perkiraan jumlah ini menyesatkan.
Pos ditulis di bawah Julia 1.8.5, Distribusi 0.25.80,
HypergeometricFunctions 0.3.11, HypothesisTests.jl 0.10.11 dan Plots.jl 1.38.2.
Di pos, kami akan menganggap bahwa kami memiliki a n-elemen template x dan y dari
dua variabel acak dengan distribusi normal.
Rumus standar untuk koefisien korelasi Pearson antara x dan y
adalah (menggunakan Julia sebagai pseudocode):
sum(((xi, yi),) -> (xi-mean(x))*(yi-mean(y)), zip(x, y)) /
sqrt(sum(xi -> (xi-mean(x))^2, x) * sum(yi -> (yi-mean(y))^2, y))
Sekarang misalkan kita ingin membuat model regresi linier sederhana
tempat kami menjelaskan y melalui x. Dalam hal ini koefisien determinasi dari
Regresi ini dikenal sebagai kuadrat dari koefisien korelasi Pearson
Di antara y dan x.
Fitur yang menarik adalah bahwa koefisien korelasi Pearson dan
Koefisien determinasi yang didefinisikan di atas adalah perkiraan yang bias. Mari kita periksa
ini menggunakan percobaan sederhana. Kami akan menghasilkan data untuk n=10 Dan benar
Korelasi Pearson antara x dan y mulai 0.5 (perhatikan bahwa kemudian
Koefisien determinasi sebenarnya adalah 0.25).
julia> using Distributions
julia> using Statistics
julia> using Random
julia> function sim(n, ρ)
dist = MvNormal([1.0 ρ; ρ 1.0])
x, y = eachrow(rand(dist, n))
return cor(x, y)
end
sim (generic function with 1 method)
julia> Random.seed!(1);
julia> cor_sim = [sim(10, 0.5) for _ in 1:10^6];
julia> r2_sim = cor_sim .^ 2;
Sekarang periksa apakah estimator yang diperoleh memang bias:
julia> using HypothesisTests
julia> OneSampleTTest(cor_sim, 0.5)
One sample t-test
-----------------
Population details:
parameter of interest: Mean
value under h_0: 0.5
point estimate: 0.478612
95% confidence interval: (0.4781, 0.4791)
Test summary:
outcome with 95% confidence: reject h_0
two-sided p-value: <1e-99
Details:
number of observations: 1000000
t-statistic: -80.08122936481526
degrees of freedom: 999999
empirical standard error: 0.0002670739739448121
julia> OneSampleTTest(r2_sim, 0.25)
One sample t-test
-----------------
Population details:
parameter of interest: Mean
value under h_0: 0.25
point estimate: 0.300398
95% confidence interval: (0.3, 0.3008)
Test summary:
outcome with 95% confidence: reject h_0
two-sided p-value: <1e-99
Details:
number of observations: 1000000
t-statistic: 231.0430912829669
degrees of freedom: 999999
empirical standard error: 0.00021813356867576183
Kami melihat bias yang nyata untuk kedua koefisien. Fitur yang menarik
Anda dapat melihat bahwa koefisien korelasi Pearson miring ke bawah, sementara
Koefisien determinasi miring.
Perkiraan yang tidak bias untuk kasus kami diperoleh lebih dari 60 tahun yang lalu oleh
Olkin dan Pratt. Jika kita mengungkapkan dengan r Koefisien Pearson dihitung
ditentukan, maka taksiran yang tidak bias diberikan dengan menggunakan yang berikut:
fungsi:
julia> using HypergeometricFunctions
julia> cor_unbiased(r) = r * _₂F₁(0.5, 0.5, (n-2)/2, 1-r^2)
cor_unbiased (generic function with 1 method)
julia> r2_unbiased(r) = 1 - (1 - r^2) * _₂F₁(1, 1, n/2, 1-r^2) * (n-3)/(n-2)
r2_unbiased (generic function with 1 method)
Mari kita uji mereka pada data kita:
julia> OneSampleTTest(cor_unbiased.(cor_sim), 0.5)
One sample t-test
-----------------
Population details:
parameter of interest: Mean
value under h_0: 0.5
point estimate: 0.499949
95% confidence interval: (0.4994, 0.5005)
Test summary:
outcome with 95% confidence: fail to reject h_0
two-sided p-value: 0.8529
Details:
number of observations: 1000000
t-statistic: -0.18540252488698106
degrees of freedom: 999999
empirical standard error: 0.0002740923081266803
julia> OneSampleTTest(r2_unbiased.(cor_sim), 0.25)
One sample t-test
-----------------
Population details:
parameter of interest: Mean
value under h_0: 0.25
point estimate: 0.249932
95% confidence interval: (0.2494, 0.2505)
Test summary:
outcome with 95% confidence: fail to reject h_0
two-sided p-value: 0.8054
Details:
number of observations: 1000000
t-statistic: -0.24635861593453004
degrees of freedom: 999999
empirical standard error: 0.0002750802967082336
Memang, debiasing berhasil.
Sekarang periksa arah perbedaan antara estimator sebagai fungsi dari
mengamati koefisien korelasi Pearson (sama n=10 ditetapkan seperti di atas):
julia> using Plots
julia> plot(r -> r - cor_unbiased(r), xlim=[-1, 1], label="r difference",
xlab="observed r")
julia> plot!(r -> r^2 - r2_unbiased(r), label="r² difference")
Anda akan mendapatkan plot berikut:
Seperti yang Anda lihat, koefisien korelasi Pearson selalu meningkat untuk
korelasi positif dan menurun untuk korelasi negatif dalam kasus kami.
Menariknya, koefisien determinasi berkurang jika
nilai absolut dari korelasi sebenarnya kurang dari sekitar 0,6565, dan jika
Jika nilai absolut ini lebih besar maka akan diubah.
Ini berarti bahwa kita dapat memperkirakan bahwa untuk koefisien Pearson nyata yang besar
rumus baku korelasi untuk menghitung koefisien determinasi
akan menyebabkan perkiraan yang terlalu rendah dari rata-rata sebenarnya.
Untuk mengujinya, mari jalankan kembali simulasi dengan nilai sebenarnya r=0.9 dan masih
menjaga n=10:
julia> r2_sim_2 = [sim(10, 0.9)^2 for _ in 1:10^6];
julia> OneSampleTTest(r2_sim_2, 0.81)
One sample t-test
-----------------
Population details:
parameter of interest: Mean
value under h_0: 0.81
point estimate: 0.796659
95% confidence interval: (0.7964, 0.7969)
Test summary:
outcome with 95% confidence: reject h_0
two-sided p-value: <1e-99
Details:
number of observations: 1000000
t-statistic: -100.77325436105275
degrees of freedom: 999999
empirical standard error: 0.00013238294244740913
julia> OneSampleTTest(r2_unbiased.(sqrt.(r2_sim_2)), 0.81)
One sample t-test
-----------------
Population details:
parameter of interest: Mean
value under h_0: 0.81
point estimate: 0.810047
95% confidence interval: (0.8098, 0.8103)
Test summary:
outcome with 95% confidence: fail to reject h_0
two-sided p-value: 0.7251
Details:
number of observations: 1000000
t-statistic: 0.351680959027248
degrees of freedom: 999999
empirical standard error: 0.0001342944339289557
Memang, koefisien determinasi bias negatif dalam kasus ini
dan menggunakan metode Olkin dan Pratt berhasil lagi.
Apa kerugian penduga Olkin dan Pratt dari koefisien .?
tekad? Masalahnya adalah itu memberikan nilai negatif untuk koefisien
untuk observasi r dekat dengan 0. Mengapa ini tidak bisa dihindari? Untuk melihat anggapan ini untuk
sesaat itu benar r=0. Dalam sampel acak kita akan melihat beberapa pengamatan positifr^2, kebetulan saja. Oleh karena itu, untuk menjaga estimator tidak bias (perhatikan bahwa
nilai yang diharapkan seharusnya 0) kita harus mengizinkan nilai negatifnya.
Saya harap Anda menemukan properti estimator yang disajikan berguna. aku rasa ini
Cukup menarik bahwa metode statistik dasar pun cukup kompleks
properti, awalnya tidak jelas.
Terkait
Software Terbaru Saat Ini
Aplikasi yang sedang trend saat ini
object oriented programming, programming language, programming adalah, web programming, belajar programming, tournament software, software, software adalah, contoh software, apa itu software, pengertian software, aplikasi, aplikasi penghasil uang, aplikasi bokep, aplikasi video, programming
#Beberapa #sifat #koefisien #determinasi #yang #tidak #banyak #diketahui
