1、第七章 參數估計,引言,上一講，我們介紹了總體、樣本、簡單隨機樣本、統(tǒng)計量和抽樣分布的概念，介紹了統(tǒng)計中常用的三大分布，給出了幾個重要的抽樣分布定理. 它們是進一步學習統(tǒng)計推斷的基礎.,,總體,樣本,統(tǒng)計量,,,描述,,作出推斷,研究統(tǒng)計量的性質和評價一個統(tǒng)計推斷的優(yōu)良性，完全取決于其抽樣分布的性質.,,隨機抽樣,,,現(xiàn)在我們來介紹一類重要的統(tǒng)計推斷問題,參數估計問題是利用從總體抽樣得到的信息來估計總體的某些參數或者參數的某些函數.

2、,參數估計,估計廢品率,估計新生兒的體重,估計湖中魚數,… …,估計降雨量,在參數估計問題中，假定總體分布形式已知，未知的僅僅是一個或幾個參數.,這類問題稱為參數估計.,參數估計問題的一般提法,X1,X2,…,Xn,參數估計,點估計,區(qū)間估計,（假定身高服從正態(tài)分布 ）,設這5個數是:,1.65 1.67 1.68 1.78 1.69,估計 為1.68，,這是點估計.,這是區(qū)

3、間估計.,假如我們要估計某隊男生的平均身高.,現(xiàn)從該總體選取容量為5的樣本，我們的任務是要根據選出的樣本（5個數）求出總體均值 的估計. 而全部信息就由這5個數組成 .,一、點估計概念及討論的問題,例1 已知某地區(qū)新生嬰兒的體重X~,隨機抽查100個嬰兒,…,得100個體重數據,10,7,6,6.5,5,5.2, …,而全部信息就由這100個數組成.,把樣本值代入T(X1,X2,…Xn) 中，得到,的一個點估計值 .,請注意，被

4、估計的參數 是一個未知常數，而估計量 T(X1,X2,…Xn)是一個隨機變量，是樣本的函數,當樣本取定后，它是個已知的數值,這個數常稱為 的估計值 .,使用什么樣的統(tǒng)計量去估計 ？,可以用樣本均值;,也可以用樣本中位數;,還可以用別的統(tǒng)計量 .,問題是:,我們知道,服從正態(tài)分布,,由大數定律,,自然想到把樣本體重的平均值作為總體平均體重的一個估計.,類似地，用樣本體重的方差 .,用樣本體重的

5、均值,樣本體重的平均值,1. 矩估計法,其基本思想是用樣本矩估計總體矩 .,理論依據:,它是基于一種簡單的“替換”思想建立起來的一種估計方法 .,是英國統(tǒng)計學家K.皮爾遜最早提出的 .,大數定律,記總體k階矩為,樣本k階矩為,用相應的樣本矩去估計總體矩的估計方法就稱為矩估計法.,記總體k階中心矩為,樣本k階中心矩為,i=1,2,…,k,從這k個方程中解出,j=1,2,…,k,那么用諸 的估計量 Ai分別代替上式中的諸 ,

6、即可得諸 的矩估計量 ：,j=1,2,…,k,解:,由矩法,,樣本矩,總體矩,從中解得,數學期望是一階原點矩,解:由密度函數知,具有均值為 的指數分布,故 E(X- )=,D(X- )=,令,,用樣本矩估計總體矩,解,例4,解方程組得到a, b的矩估計量分別為,,矩法的優(yōu)點是簡單易行,并不需要事先知道總體是什么分布 .,缺點是，當總體類型已知時，沒有 充分利用分布提供的信息 . 一般場合下,矩估計

7、量不具有唯一性 .,其主要原因在于建立矩法方程時，選取那些總體矩用相應樣本矩代替帶有一定的隨意性 .,稍事休息,2. 極大似然法,是在總體類型已知條件下使用的一種參數估計方法 .,它首先是由德國數學家高斯在1821年提出的 ,,Gauss,Fisher,然而，這個方法常歸功于英國統(tǒng)計學家費歇 .,費歇在1922年重新發(fā)現(xiàn)了 這一方法，并首先研究了這 種方法的一些性質 .,極大似然法的基本思想,先看一個簡單例子：,

8、一只野兔從前方竄過 .,是誰打中的呢？,某位同學與一位獵人一起外出打獵 .,如果要你推測，,你會如何想呢?,只聽一聲槍響，野兔應聲倒下 .,下面我們再看一個例子,進一步體會極大似然法的基本思想 .,你就會想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學命中的概率. 看來這一槍是獵人射中的 .,這個例子所作的推斷已經體現(xiàn)了極大似然法的基本思想 .,例5 設X~B(1,p), p未知.設想我們事先知道p只有兩種可能:,問:應如何估計p?

9、,p=0.7 或 p=0.3,如今重復試驗3次,得結果: 0 , 0, 0,由概率論的知識, 3次試驗中出現(xiàn)“1”的次數,k=0,1,2,3,將計算結果列表如下：,應如何估計p?,p=0.7 或 p=0.3,k=0,1,2,3,p值P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.70.027 0.189 0.441 0.343 0.30.

10、343 0.441 0.189 0.027,出現(xiàn),估計,出現(xiàn),出現(xiàn),出現(xiàn),估計,估計,估計,0.343,0.441,0.441,0.343,,如果只知道0<p<1,并且實測記錄是 Y=k (0 ≤ k≤ n),又應如何估計p呢?,注意到,是p的函數,可用求導的方法找到使f (p)達到極大值的p .,但因f (p)與lnf (p)達到極大值的自變量相同,故問題可轉化為求lnf (p)的極大

11、值點 .,=f (p),將ln f (p)對p求導并令其為0,,從中解得,=0,便得 p(n-k)=k(1-p),以上這種選擇一個參數使得試驗結果具有最大概率的思想就是極大似然法的基本思想 .,這時,對一切0<p<1,均有,則估計參數p為,極大似然估計原理：,當給定樣本X1,X2,…Xn時，定義似然函數為：,設X1,X2,…Xn是取自總體X的一個樣本，樣本的聯(lián)合密度(連續(xù)型）或聯(lián)合概率函數(離散型)為 f (X1

12、,X2,…Xn; ) .,似然函數：,極大似然估計法就是用使 達到最 大值的 去估計 .,稱 為 的極大似然估計（MLE）.,看作參數 的函數，它可作為 將以多大可能產生樣本值X1,X2,…Xn的一種度量 .,求極大似然估計(MLE)的一般步驟是：,(1) 由總體分布導出樣本的聯(lián)合概率函數 (或聯(lián)合密度);,(2) 把樣本聯(lián)合概率函數(或聯(lián)合密度)中自變 量看成已

13、知常數,而把參數 看作自變量, 得到似然函數L( );,(3) 求似然函數L( ) 的最大值點(常常轉化 為求ln L( )的最大值點) ，即 的MLE;,兩點說明：,1、求似然函數L( ) 的最大值點，可以應用微積分中的技巧。由于ln(x)是x的增函數，lnL( )與L( )在 的同一值處達到它的最大值，假定 是一實數，且lnL( )是 的一個可

14、微函數。通過求解所謂“似然方程”：,可以得到 的MLE .,若 是向量，上述方程必須用似然方程組代替 .,2、用上述求導方法求參數的MLE有時行不通，這時要用極大似然原則來求 .,兩點說明：,下面舉例說明如何求極大似然估計,L(p)= f (X1,X2,…Xn; p ),例6 設X1,X2,…Xn是取自總體 X~B(1, p) 的一個樣本，求參數p的極大似然估計.,解：似然函數為:,對數似然函數為：,對p求導并令其為0，,=

15、0,得,即為 p 的MLE .,解：似然函數為,對數似然函數為,例7 設X1,X2,…Xn是取自總體X的一個樣本,求 的極大似然估計.,其中 >0,,求導并令其為0,=0,從中解得,即為 的MLE .,對數似然函數為,解：似然函數為,i=1,2,…,n,對數似然函數為,解：似然函數為,i=1,2,…,n,=0 (2),由(1)得,=0 (1),對 分別求偏

16、導并令其為0,,對數似然函數為,是,對,故使 達到最大的 即 的MLE，,于是,取其它值時，,即 為 的MLE .,且是 的增函數,由于,極大似然估計的一個性質,可證明極大似然估計具有下述性質：,設 的函數g=g( )是 上的實值函數,且有唯一反函數 . 如果 是 的MLE，則g( )也是g( )的極大似然估計.,,卡爾.皮爾

17、遜（Karl Prarson,1857-1936），英國生物學家和統(tǒng)計學家，舊數理學派和描述統(tǒng)計學派的代表人物，現(xiàn)代統(tǒng)計科學的創(chuàng)立者?！　】?皮爾遜從兒童時代起，就有著廣闊的興趣范圍，非凡的知識活力，善于獨立思考，不輕易相信權威，重視數據和事實。他的主要成就和貢獻是在統(tǒng)計學方面。他開始把數學運用于遺傳和進化的隨機過程，首創(chuàng)次數分布表與次數分布圖，提出一系列次數曲線；推導出卡方分布，提出卡方檢驗，用以檢驗觀察值與期望值之間的差異顯著

18、性；發(fā)展了回歸和相關理論；為大樣本理論奠定了基礎。皮爾遜的科學道路，是從數學研究開始，繼之以哲學和法律學，進而研究生物學與遺傳學，集大成于統(tǒng)計學。,,在19世紀90年代以前，統(tǒng)計理論和方法的發(fā)展是很不完善的，統(tǒng)計資料的搜集、整理和分析都受到很多限制。皮爾遜在生物學家高爾頓(Francis Galton,1822-1911)和韋爾頓(Weldon,1860-1906)的影響下，從九十年代初開始進軍生物統(tǒng)計學。他認為生物現(xiàn)象缺乏定量研究是不