1、Econometric Theory,Lecturer: Dr.Jingtao YiRoom 715Business School, RUC,Lecture 7: k-Variable Linear Regression V,1. Maximum Likelihood Estimation;2. Properties of the ML Estimator.,最小二乘法适用于线性模型，但是对于非线性模型的估计就需要最大似然估计。此外小样本数据的估计可以采用最小二乘法，对于大样本数据则适用于极大似然估计方法。最大似然估计方法给以提供模型选择和甄别的估计量，来判断模型拟合的效果。最小二乘法：小样本
2、统计量，衍生出T统计量， F统计量。最大似然估计：大样本统计，衍生出Z统计量，LM统计量,Maximum Likelihood Estimation,The joint density of n iid observations from the data generating process is given as:,YHAT对Y的估计和拟合程度最大的参数序列 的估计。就是最大似然估计的主要思路。,Maximum Likelihood Estimation,Identification,最大似然估计结果只能有唯一解。,Maximum Likelihood Estimation,The Nor
3、mal Linear Regression Model,最大似然估计结果只能有唯一解。极似然估计必须知道残差的分布，因为极大似然估计推导的基础是根据分布来估计最大拟合概率的参数。因为残差=Y-X,实质就是残差平方和。最大化概率就是最小化残差平方和，和最小二乘是完全一致的,极大似然估计的缺陷：首先要假设残差是服从正态分布。需要假设已经知道分布。在正态条件下，极大似然估计的结果就是最小二乘估计法的结果，因此极大似然估计是最优的。如果不知道残差的分布，但是样本足够大，渐进理论证明最小二乘仍然是最优的，但是对于极大似然估计则不一定是最优的，估计出来的结果可能无效的，而且可能有偏，只能通过假设初始估计，
4、不断渐进逼近才能得到最优的结果。,Maximum Likelihood Estimation,极大似然估计：大样本结果,二乘法：小样本结果,两种估计方法得到的结果完全相同。尤其是在样本足够大的时候。,Properties of the ML Estimator,在残差服从正态的假设前提下，最小二乘法估计残差的方差是一致的，也是无偏的。但是极大似然估计达到的残差方差是一致的，但是是有偏的。,Properties of the ML Estimator,Comments:,Properties of the ML Estimator,The ML estimation does not requi
5、re the disturbances to be normally distributed.The ML estimation has to specify the distribution of the disturbances.Observations X can be iid, not nonstochastic.Both observations X and disturbances e are independent.,只要分布已知即可,都要求X和残差都是正交的,Properties of the ML Estimator,For any distribution of disturbances, if the likelihood function is correctly specified, the maximum likelihood estimator has the following asymptotic properties.,
