Лінійна середньоквадратична регресія

Найбільш тривіальним класом функцій, які використовуються для опису регресійних залежностей, є лінійна функція.

Лінійною середньоквадратичною регресією називається функція

, (5)

параметри якої визначаються з умови мінімуму середньої похибки .

Використовуючи співвідношення (4), можна записати середню похибку як функцію параметрів у вигляді

.

Обчислюючи похідні по і від й, прирівнюючи їх до нуля, отримаємо систему двох рівнянь. Після розв'язання цієї системи відносно і , маємо

,

де .

Підставивши значення у (5), отримаємо рівняння лінійної середньоквадратичної регресії

. (6)

Мінімальна середня похибка лінійної середньоквадратичної регресії дорівнює

. (7)

Коефіцієнт називається коефіцієнтом лінійної регресії, а пряма, що визначається рівнянням (6), – відповідно прямою середньоквадратичної регресії на .

З виразів (6), (7) видно, що в загальному випадку прямі регресії відрізняються для лінійних середньоквадратичних регресій на і на .

З виразу (7) випливає, що величина мінімальної середньої похибки середньоквадратичної регресії залежить від рівня кореляції випадкових величин і . При зростанні кореляції похибка зменшується до нуля.

Для гауссівських випадкових величин і оптимальною серед усіх функцій середньоквадратичної регресії на є лінійна регресія. При цьому похибка дорівнює умовній дисперсії . Доведення цього ствердження засноване на аналізі умовної щільності ймовірності ,яка може бути представлена у вигляді

.

Математичне сподівання цього умовного розподілу

, (8)

а дисперсія

. (9)

Зіставляючи вирази (8), (6) і (9), (7), приходимо до рівнянь . Оскільки для гауссівських випадкових величин і умовна дисперсія не залежить від х, то і середній по квадрат помилки лінійного прогнозу при даному х не залежить від х, тобто точність прогнозу виявляється однаковою при будь-яких х.

Параметри лінійної середньоквадратичної регресії виражаються через перші й другі моменти випадкових величин. Якщо моменти випадкових величин невідомі, а є лише вибірки і обсягу ,то оцінки параметрів лінійної середньоквадратичної регресії (5) можна здобути за допомогою відповідних моментів: вибіркових математичних сподівань ,вибіркових дисперсій і вибіркової кореляції . При цьому наближенні вибіркові параметри регресії мають вигляд



. (10)

Очевидно, що незміщеними спроможними оцінками моментів є

; ;

; ;

.

Для визначення точності лінійного прогнозування зазвичай використовують незміщену і спроможну оцінку

.

money.halmer.ru leg.unoreferat.ru wlf.deutsch-service.ru referatvyg.nugaspb.ru Главная Страница