相信目前很多小伙伴對(duì)于最小二乘估計(jì)是什么都比較感興趣，那么小洋洋今天在網(wǎng)上也是收集了一些與最小二乘估計(jì)是什么相關(guān)的信息來(lái)分享給大家，希望能夠幫助到大家哦。

1、一,什么是最小二乘估計(jì)least-square estimation
例:y = ax + (
其中:y,x 可測(cè);( — 不可測(cè)的干擾項(xiàng);
a —未知參數(shù).通過(guò) N 次實(shí)驗(yàn),得到測(cè)量數(shù)據(jù) yk 和
xk k = 1,2,3 …,確定未知參數(shù) a 稱"參數(shù)估計(jì)".使準(zhǔn)則 J 為最小 :
令:( J ( ( a = 0 ,導(dǎo)出 a =
稱為"最小二乘估計(jì)",即殘差平方總和為最小的估計(jì),Gauss于 1792晏岢?
二,多元線性回歸
線性模型 y = a0+ a1x1+(+ anx n + ( 式(2 - 1- 1)
引入?yún)?shù)向量:( = T (n+1)(1
進(jìn)行 N 次試驗(yàn),得出N 個(gè)方程:
yk = (kT ( + (k ; k=1,2…,N 式(2 -1- 2)
其中:(k = T (n+1) (1
方程組可用矩陣表示為
y = ( ( + ( 式(2 -1- 3)
其中:y = T (N (1)
( = T (N 1)
N (n+1)
估計(jì)準(zhǔn)則:
有:
= (y — ( ()T( y — ( ()
(1(N) ( N(1)
J = yTy + (T (T ( ( -yT ( ( - (T (T y
= yTy + (T (T ( ( - 2 (T (T y 式(2 -1- 4)
假設(shè):((T ()(n+1)(n+1) 滿秩,由
利用線性代數(shù)的以下兩個(gè)矩陣對(duì)向量求偏導(dǎo)數(shù)的公式:
和
有:和
所以:
解出參數(shù)估計(jì)向量:( Ls =((T ()-1 (T y 式(2 -1- 5)
令:P = ((T ()-1 則參數(shù)估計(jì)向量 ( Ls = P (T y
參數(shù)估計(jì)向量 ( Ls 被視為以下"正則方程"的解:
((T ()( = (T y 式(2 -1- 6)
注:為了便于區(qū)別,我們用紅體字符表示估計(jì)量或計(jì)算值,而用黑體表示為參數(shù)真值或?qū)嶋H測(cè)量值.
三,關(guān)于參數(shù)最小二乘估計(jì) Ls 性質(zhì)的討論
以上求解參數(shù)最小二乘估計(jì) ( Ls 時(shí)并為對(duì){ (k }的統(tǒng)計(jì)特性做任何規(guī)定,這是最小二乘估計(jì)的優(yōu)點(diǎn).當(dāng){ (k }為平穩(wěn)零均值白噪聲時(shí),則 ( Ls 有如下良好的估計(jì)性質(zhì):
參數(shù)最小二乘估計(jì) ( Ls 是 y 的 線性估計(jì)
( Ls = P (T y 是 y 的線性表出;
b) 參數(shù)最小二乘估計(jì) ( Ls 是無(wú)偏估計(jì),即 E ( Ls= ( (參數(shù)真值)
:E ( Ls= E= P (T E( y ) = P (T E ( (( + ( ) =
P (T ( ( + E( ( ) = ( + 0 = (
最小二乘估計(jì) ( Ls 的估計(jì)誤差協(xié)方差陣是 (2P (n+1)(n+1)
即:E = (2P
:E = E = E = P (T E ( ( (T) (P =
P (T (2 IN(N (P = (2P
若{ (k }為正態(tài)分布零均值白噪聲時(shí),則 ( Ls 是線性無(wú)偏最小方差估計(jì)(證明從略).如若{ (k }是有色噪聲,則 ( Ls 不具有上述性質(zhì),即為有偏估計(jì).
四,最小二乘估計(jì) ( Ls 的的幾何意義和計(jì)算問(wèn)題
1.最小二乘估計(jì)的幾何意義
最小二乘估計(jì)的模型輸出值為 yk = ( kT ( Ls k = 1,2,…N
輸出實(shí)際測(cè)量值與模型輸出值之差叫殘差:(k = yk – yk
模型輸出向量為 y = ( ( Ls ,而殘差向量為:
( = y – y = y – ( ( Ls
(T ( k = (T y – (T (((T ()-1 (T y = (T y – (T y = 0
即殘差向量 ( 與由測(cè)量數(shù)據(jù)矩陣 ( 的各個(gè)向量:( 1,( 2 ,…,( N 張成的超平面(估計(jì)空間)正交,而最小二乘模型輸出向量 y 為實(shí)際輸出向量 y 在估計(jì)空間上的正交投影,這就是最小二乘估計(jì)的幾何意義.
---------------------------------------------
最小二乘法是一種數(shù)學(xué)優(yōu)化技術(shù),它通過(guò)最小化誤差的平方和找到一組數(shù)據(jù)的最佳函數(shù)匹配.
最小二乘法是用最簡(jiǎn)的方法求得一些絕對(duì)不可知的真值,而令誤差平方之和為最小.
最小二乘法通常用于曲線擬合.很多其他的優(yōu)化問(wèn)題也可通過(guò)最小化能量或最大化熵用最小二乘形式表達(dá).
比如從最簡(jiǎn)單的一次函數(shù)y=kx+b講起
已知坐標(biāo)軸上有些點(diǎn)(1.1,2.0),(2.1,3.2),(3,4.0),(4,6),(5.1,6.0),求經(jīng)過(guò)這些點(diǎn)的圖象的一次函數(shù)關(guān)系式.
當(dāng)然這條直線不可能經(jīng)過(guò)每一個(gè)點(diǎn),我們只要做到5個(gè)點(diǎn)到這條直線的距離的平方和最小即可,這就需要用到最小二乘法的思想.然后就用線性擬合來(lái)求.。

本文到此結(jié)束，希望對(duì)大家有所幫助。

---

版權(quán)說(shuō)明：本文由用戶上傳，如有侵權(quán)請(qǐng)聯(lián)系刪除！

---

標(biāo)簽：