Ước lượng tham số là một trong những bài toán cơ bản của thống kê toán học. Khi nghiên cứu đặc tính $A$ của mỗi cá thể của tổng thể, nếu xác định được quy luật xác suất của $A$ thì việc đưa ra các đánh giá cũng như các dự báo về sự biến động của tổng thể liên quan đến đặc tính này sẽ chính xác và khách quan. Tuy nhiên không phải lúc nào chúng ta cũng xác định được quy luật xác suất của $A$. Trong một số trường hợp, ta chỉ biết được dạng toán học của hàm phân phối hoặc hàm mật độ của biến định lượng $A$ mà chưa biết các tham số có mặt trong chúng. Vì vậy để xác định quy luật xác suất của $A$ trước hết phải đưa ra những đánh giá về các tham số này. Bài toán ước lượng tham số sẽ giúp ta giải quyết vấn đề trên.

Bài toán ước lượng tham số có thể phát biểu tổng quát như sau: Cho BNN $X$ của tổng thể có luật phân phối xác suất đã biết nhưng chưa biết tham số $\theta$ nào đó, ta phải xác định giá trị của $\theta$ dựa trên các thông tin thu được từ một mẫu quan sát $x_1,\cdots,x_n$ của $X$. Quá trình xác định một tham số $\theta$ chưa biết được gọi là quá trình ước lượng tham số. Giá trị tìm được trong quá trình ấy, kí hiệu là $\hat{\theta}$, được gọi là ước lượng của $\theta$. Vì $\hat{\theta}$ là một giá trị số nên nó được gọi là ước lượng điểm, sau này ta còn có ước lượng khoảng (hay khoảng tin cậy).

Rõ ràng, $\hat{\theta}$ là một hàm số $n$ biến $g(X_1,\cdots,X_n)$ nào đó hay là một thống kê, nhận đầu vào là các mẫu thực nghiệm $(x_1,\cdots,x_n)$ của $X$ và đầu ra là giá trị ước lượng của $\theta$. Điều chúng ta muốn có là sai số $|\hat{\theta}-\theta|$ giữa ước lượng $\hat{\theta}$ và giá trị thật của $\theta$ càng nhỏ càng tốt. Vì vậy ta phải đưa ra các tiêu chuẩn để đánh giá chất lượng của thống kê $\hat{\theta}$ như là một xấp xỉ tốt nhất của $\theta$. Những tiêu chuẩn như vậy cho ta các nguyên lí thống kê khác nhau.

Với một mẫu ngẫu nhiên có thể xây dựng nhiều thống kê $\hat{\theta}$ khác nhau để ước lượng cho tham số $\theta$. Vì vậy ta cần lựa chọn thống kê tốt nhất để ước lượng cho tham số $\theta$ dựa vào các tiêu chuẩn sau đây.

a) Ước lượng không chệch

Thống kê $\hat{\theta}=g(X_1,\cdots,X_n)$ là một hàm của các BNN $X_1,\cdots,X_n$ nên cũng là một BNN. Do đó ta có thể xét các đặc trưng của thống kê này.

Từ định nghĩa trên ta thấy $E(\hat{\theta}-\theta)=0$, điều đó có nghĩa là trung bình độ lệch của ước lượng so với giá trị thật bằng 0. Nếu độ lệch có trung bình khác 0, ta có ước lượng chệch. Một sai số nào đó có trung bình khác không sẽ được gọi là sai số hệ thống; ngược lại sẽ là sai số ngẫu nhiên. Như vậy một ước lượng sẽ được gọi là không chệch khi độ lệch so với giá trị thật (sai số ước lượng) là sai số ngẫu nhiên.

Nhận xét: Giả sử BNN $X$ của tổng thể có kì vọng $E(X)=\mu$, phương sai $D(X)=\sigma^2$. Khi đó:

(i) Từ công thức (3.1), thống kê trung bình mẫu $\overline{X}=\dfrac{1}{n}\sum_{i=1}^nX_i$ là một ước lượng không chệch của $\mu$.

(ii) Từ công thức (3.2), thống kê phương sai mẫu hiệu chỉnh $S^2$ là một ước lượng không chệch của $\sigma^2$, thống kê phương sai mẫu $\hat{S}^2$ là một ước lượng chệch của $\sigma^2$. Điều này giải thích vì sao chúng ta hay dùng công thức phương sai mẫu hiệu chỉnh $S^2$ thay vì $\hat{S}^2$ khi nói về phương sai của một mẫu.

(iii) Từ công thức (3.3), thống kê tần suất mẫu $f=\overline{X}$ là một ước lượng không chệch của xác suất xuất hiện sự kiện $A$ nào đó (nếu $X$ có phân phối Bernoulli và việc lấy mẫu có hoàn lại).

(iv) Phương sai $\dfrac{1}{n}\sum_{i=1}^n(X_i-\mu)^2$ là một ước lượng không chệch của $\sigma^2$.

b) Ước lượng hiệu quả

Giả sử $\hat{\theta}$ là ước lượng không chệch của $\theta$, tức là $E(\hat{\theta})=\theta$. Theo bất đẳng thức Chebyschev (Định lí 2.2), ta có $$P\big(|\hat{\theta}-E(\hat{\theta})|<\varepsilon\big)\geq 1-\dfrac{D(\hat{\theta})}{\varepsilon^2}\Leftrightarrow P\big(|\hat{\theta}-\theta)|<\varepsilon\big)\geq 1-\dfrac{D(\hat{\theta})}{\varepsilon^2}.$$

Nhận thấy $D(\hat{\theta})$ càng nhỏ thì $P\big(|\hat{\theta}-\theta)|<\varepsilon\big)$ càng gần 1. Do đó ta sẽ chọn $\hat{\theta}$ sao cho $D(\hat{\theta})$ nhỏ nhất. Từ đó ta có định nghĩa sau.

Như vậy, để xét xem ước lượng không chệch $\hat{\theta}$ có phải là ước lượng hiệu quả của $\theta$ hay không ta cần phải tìm một cận dưới của phương sai của các ước lượng không chệch và so sánh phương sai của $\hat{\theta}$ với cận dưới này. Điều này được giải quyết bằng bất đẳng thức Cramér-Rao phát biểu như sau.

Chú ý:

(i) Bất đẳng thức \eqref{3.4} được gọi là bất đẳng thức Crame'r-Rao, cho biết cận dưới của phương sai các ước lượng không chệch.

(ii) Nếu $\hat{\theta}$ là ước lượng không chệch của $\theta$, $\hat{\theta}$ có phương sai thỏa mãn dấu bằng trong bất đẳng thức \eqref{3.4} thì $\hat{\theta}$ là ước lượng hiệu quả của $\theta$.

(iii) Nếu BNN của tổng thể $X\sim \mathcal N(\mu;\sigma^2)$ thì trung bình mẫu $\overline{X}$ là ước lượng hiệu quả của kì vọng $E(X)=\mu$.

(iv) Nếu BNN của tổng thể $X\sim \mathcal B(1;p)$ thì tần suất mẫu $f=\overline{X}$ là ước lượng hiệu quả của tần suất $p$ của tổng thể.

c) Ước lượng vững

Một trong những đặc tính ưa chuộng của ước lượng là khi kích thước mẫu $n$ đủ lớn, ước lượng sẽ có độ tin cậy đủ tốt.

Như vậy, nếu thống kê $\hat{\theta}$ là một ước lượng vững của $\theta$ thì khi $n$ lớn (kích thước mẫu lớn) sự sai khác giữa $\hat{\theta}$ và $\theta$ là không đáng kể.

Ví dụ 3.9. Cho tổng thể là BNN $X$ với kì vọng $E(X)=\mu$ và $D(X)=\sigma^2$. Khi đó:

(i) Trung bình mẫu $\overline{X}$ là một ước lượng vững của $\mu$. Thật vậy, $\forall \varepsilon>0$, áp dụng bất đẳng thức Chebyschev (Định lí 2.2), ta có $$P\big(|\overline{X}-\mu|<\varepsilon\big)\geq 1-\dfrac{D(\overline{X})}{\varepsilon^2}=1-\dfrac{\sigma^2}{n\varepsilon^2}\to 1, \quad \text{khi }n\to\infty.$$

(ii) Tần suất mẫu $f=\overline{X}$ là ước lượng vững của xác suất $p$ xuất hiện sự kiện $A$ nào đó (nếu $X$ có phân phối Bernoulli).