انحدار خطي بسيط

افترض ان لديك عدد n من النقاط {(X_i,Y_i),i=1,2,.....n} فان الدالة التي تصف Y و X هي : y_i = α + β x_i + ε_i والهدف هو ايجاد معادلة الخط المستقيم y = α + β x التي تعطي أفضل تمثيل للنقاط. هنا الأفضل يعرف بأنه طريقة المربعات الصغيرة : الخط الذي يقلل مجموع مربعات المتبقيات لنموذج الانحدار الخطي . و بعبارة أخرى، α (نقطة التقاطع مع محور y) و β (الميل) يشاركوا في حل مشكلة التقليل التالية : ${\displaystyle {\text{Find }}\min _{\alpha ,\,\beta }Q(\alpha ,\beta ),\qquad {\text{for }}Q(\alpha ,\beta )=\sum _{i=1}^{n}\varepsilon _{i}^{\,2}=\sum _{i=1}^{n}(y_{i}-\alpha -\beta x_{i})^{2}\ }$

باستخدام الحساب هندسة المساحات الداخلية للشكل أو التوسع البسيط للحصول علي معادلة من الدرجة الثانية في α و β ، فإنه من الممكن ايجاد قيم α و β التي تقلل الدالة كالتالي :

${\displaystyle {\begin{aligned}{\hat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\\[6pt]&={\frac {\sum _{i=1}^{n}{x_{i}y_{i}}-{\frac {1}{n}}\sum _{i=1}^{n}{x_{i}}\sum _{j=1}^{n}{y_{j}}}{\sum _{i=1}^{n}{x_{i}^{2}}-{\frac {1}{n}}(\sum _{i=1}^{n}{x_{i}})^{2}}}\\[6pt]&={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{{\overline {x^{2}}}-{\bar {x}}^{2}}}\\&={\frac {\operatorname {Cov} [x,y]}{\operatorname {Var} [x]}}\\&=r_{xy}{\frac {s_{y}}{s_{x}}},\\[6pt]{\hat {\alpha }}&={\bar {y}}-{\hat {\beta }}\,{\bar {x}},\end{aligned}}}$

حيث r_xy هو معامل الارتباط بين x و y

s_x هو الانحراف المعياري ل x

s_y هو الانحراف المعياري ل y الخط الأفقي علي فوق الكمية يعبر عن المتوسط . فعلى سبيل المثال : ${\displaystyle {\overline {xy}}={\tfrac {1}{n}}\sum _{i=1}^{n}x_{i}y_{i}.}$

بالتعويض بالمعادلة السابقة في ${\displaystyle f={\hat {\alpha }}+{\hat {\beta }}x,}$ يؤدي ذلك الي : ${\displaystyle {\frac {f-{\bar {y}}}{s_{y}}}=r_{xy}{\frac {x-{\bar {x}}}{s_{x}}}}$

و هذا يدل علي الدور الذي يقوم به r_xy في خط الانحدار لنقط البيانات . و في بعض الأحيان يكون من المفيد حساب r_xy من البيانات بشكل مستقل باستخدام المعادلة التالية :

${\displaystyle r_{xy}={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{\sqrt {({\overline {x^{2}}}-{\bar {x}}^{2})({\overline {y^{2}}}-{\bar {y}}^{2})}}}}$

معامل التحديد (R تربيع) يساوي ${\displaystyle r_{xy}^{2}}$ عندما يكون النموذج خطي وبه متغير مستقل واحد. انظر نموذج معامل الارتباط لتفاصيل أكثر

1. الخط يمر عبر نقطة مركز الكتلة (x, y)
2. مجموع المتبقيات يساوي صفر إذا وجد ثابت في النموذج : ${\displaystyle \textstyle \sum _{i=1}^{n}{\hat {\varepsilon }}_{i}=0.}$
3. التركيبة الخطية للمتبقيات، في حالة المعاملات هي قيم x، تساوي صفر : ${\displaystyle \textstyle \sum _{i=1}^{n}x_{i}{\hat {\varepsilon }}_{i}=0.}$

وصف الخصائص الإحصائية للمقدرات من الانحدار الخطي البسيط يتطلب استخدام نموذج احصائي. التالي يعتمد علي افتراض صحة النموذج في حالة أن التقديرات مثالية. و من الممكن أيضا لحساب الخصائص تحت قيود افتراضات أخرى، مثل عدم التجانس، ولكن يتم مناقشة ذلك في أماكن أخرى.

افتراض الوضع الطبيعي

في ظل الافتراض الأول أعلاه، الذي من طبيعته وجود خطأ، تقدير معامل الميل سوف يوزع بشكل طبيعي بمتوسط β و تباين ${\displaystyle \sigma ^{2}/\sum (x_{i}-{\bar {x}})^{2},}$ حيث σ² هو الفرق في الخطأ (انظر البراهين التي تنطوي علي المربعات الصغري). في نفس الوقت، مجموع مربع المتبقيات Q يوزع بالتناسب مع χ² بعدد درجات حرية n-2 و بشكل مستقل عن ${\displaystyle {\hat {\beta }}.}$ و هذا يسمح لنا بعمل احصائية t. ${\displaystyle t={\frac {{\hat {\beta }}-\beta }{s_{\hat {\beta }}}}\ \sim \ t_{n-2},}$

حيث

${\displaystyle s_{\hat {\beta }}={\sqrt {\frac {{\tfrac {1}{n-2}}\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{\,2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}}$

هو الخطأ المعياري للمقدر احصائية t لديها توزيع t للطلاب بعدد n-2 درجة حرية وباستخدامها نستطيع تكوين فترة تأكيد ل β :

${\displaystyle \beta \in \left[{\hat {\beta }}-s_{\hat {\beta }}t_{n-2}^{*},\ {\hat {\beta }}+s_{\hat {\beta }}t_{n-2}^{*}\right],}$

في مستوي التأكيد (1−γ) حيث ${\displaystyle t_{n-2}^{*}}$ هي (1−γ/2)-th من توزيع t_n−2 على سبيل المثال، إذا γ = 0.05 ثم مستوي التأكيد 95% و بالمثل، فترة التأكيد لمعامل الاعتراض α يعطي ب

${\displaystyle \alpha \in \left[{\hat {\alpha }}-s_{\hat {\alpha }}t_{n-2}^{*},\ {\hat {\alpha }}+s_{\hat {\alpha }}t_{n-2}^{*}\right],}$

في مستوي التأكيد (1−γ) حيث

${\displaystyle s_{\hat {\alpha }}=s_{\hat {\beta }}{\sqrt {{\tfrac {1}{n}}\textstyle \sum _{i=1}^{n}x_{i}^{2}}}={\sqrt {{\tfrac {1}{n(n-2)}}\left(\textstyle \sum _{j=1}^{n}{\hat {\varepsilon }}_{j}^{\,2}\right){\frac {\sum _{i=1}^{n}x_{i}^{2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}}}$

انحدار بفترة تأكيد 95%.

فترة التأكيد ل α وβ تعطينا الفكرة الرئيسية حيث معاملات الانحدار من الأرجح أن تكون. على سبيل المثال، في قانون Okun الانحدار ظاهر في بداية المقال النقط المقدرة هي ${\displaystyle {\hat {\alpha }}=0.859,\qquad {\hat {\beta }}=-1.817.}$

و فترة التأكيد لهذه المقدرات 95% : ${\displaystyle \alpha \in \left[0.76,0.96\right],\qquad \beta \in \left[-2.06,-1.58\right].}$

من أجل تمثيل هذه المعلومات بيانيا في شكل فترات تأكيد ول خط الانحدار فعلي الشخص أن يمضي بحذر وحساب التوزيع المشترك للمقدرات. و يمكن أن تظهر أنه في فترة التأكيد (1−γ) رابطة التأكيد تأخذ شكل قطع زائد يعطي بالمعادلة :

${\displaystyle {\hat {y}}|_{x=\xi }\in \left[{\hat {\alpha }}+{\hat {\beta }}\xi \pm t_{n-2}^{*}{\sqrt {\left({\frac {1}{n-2}}\sum {\hat {\varepsilon }}_{i}^{\,2}\right)\cdot \left({\frac {1}{n}}+{\frac {(\xi -{\bar {x}})^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right)}}\right].}$

هذا المثال يتعلق بمجموعة بيانات من المربعات الصغري العادية . هذه المجموعة تعطي متوسط كتل السيدات كدالة في طولهم في عينة من النساء الأمريكان في عمر 39-30 . وعلى الرغم أن OLS تقول أنه من الأكثر ملائمة عمل انحدار من الدرجة الثانية لهذه البيانات لكن الانحدار الخطي البسيط يمكن تطبيقه هنا بدلا من ذلك .

يوجد عدد النقاط (n=15) في هذه البيانات ويتم بدأ الحسابات باليد بحساب المجاميع الخمسة التالية :

${\displaystyle {\begin{aligned}&S_{x}=\sum x_{i}=24.76,\quad S_{y}=\sum y_{i}=931.17\\&S_{xx}=\sum x_{i}^{2}=41.0532,\quad S_{xy}=\sum x_{i}y_{i}=1548.2453,\quad S_{yy}=\sum y_{i}^{2}=58498.5439\end{aligned}}}$

هذه الكميات تستخدم لحساب معاملات الانحدار وأخطائهم القياسية

${\displaystyle {\begin{aligned}{\hat {\beta }}&={\frac {nS_{xy}-S_{x}S_{y}}{nS_{xx}-S_{x}^{2}}}=61.272\\{\hat {\alpha }}&={\tfrac {1}{n}}S_{y}-{\hat {\beta }}{\tfrac {1}{n}}S_{x}=-39.062\\s_{\varepsilon }^{2}&={\tfrac {1}{n(n-2)}}\left(nS_{yy}-S_{y}^{2}-{\hat {\beta }}^{2}(nS_{xx}-S_{x}^{2})\right)=0.5762\\s_{\beta }^{2}&={\frac {ns_{\varepsilon }^{2}}{nS_{xx}-S_{x}^{2}}}=3.1539\\s_{\alpha }^{2}&=s_{\beta }^{2}{\tfrac {1}{n}}S_{xx}=8.63185\end{aligned}}}$

0.975 من توزيع t للطلاب ب 13 درجة حرية يكون t^*₁₃ = 2.1604 و بالتالي 95% فترة تأكيد ل α and β تكون :

${\displaystyle {\begin{aligned}&\alpha \in [\,{\hat {\alpha }}\mp t_{13}^{*}s_{\alpha }\,]=[\,{-45.4},\ {-32.7}\,]\\&\beta \in [\,{\hat {\beta }}\mp t_{13}^{*}s_{\beta }\,]=[\,57.4,\ 65.1\,]\end{aligned}}}$

و يمكن أيضا حساب ناتج معامل تصحيح الارتباط كالتالي :

${\displaystyle {\hat {r}}={\frac {nS_{xy}-S_{x}S_{y}}{\sqrt {(nS_{xx}-S_{x}^{2})(nS_{yy}-S_{y}^{2})}}}=0.9945}$

هذا المثال يوضح أن الحسابات المعقدة لن تتغلب علي استخدام البيانات المعدة بشكل سيئ. الأطوال أعطت بالبوصة وقد تم تحويلها لأقرب سنتيمتر. و لأن معامل التحويل هو 2.54 فهذا تحويل غير صحيح لأن البوصة الأصلية يمكن استردادها بحوالي (x/0.0254) و من ثم اعادة تحويلها لمتر. إذا فعلت ذلك تصبح النتئج :

${\displaystyle {\hat {\beta }}=61.6746,\qquad {\hat {\alpha }}=-39.7468.}$

و بالتالي اختلاف صغير في البيانات لديه تأثير حقيقي

نحن نبحث عن ${\displaystyle {\hat {\alpha }},{\hat {\beta }}}$ التي تقلل مجموع مربع الخطأ، ${\displaystyle {\underset {{\hat {\alpha }},{\hat {\beta }}}{\mathrm {min} }}\,\mathrm {SSE} \left({\hat {\alpha }},{\hat {\beta }}\right)}$ التي تعرف كالتالي ${\displaystyle \mathrm {SSE} \left({\hat {\alpha }},{\hat {\beta }}\right)=\sum _{i=1}^{n}\left(y_{i}-{\hat {\alpha }}-{\hat {\beta }}x_{i}\right)^{2}}$

لايجاد الأقل نقوم بالاشتقاق الجزئي بالنسبة ل ${\displaystyle {\hat {\alpha }}}$ و ${\displaystyle {\hat {\beta }}}$

${\displaystyle {\begin{aligned}{\frac {\partial \,\mathrm {SSE} \left({\hat {\alpha }},{\hat {\beta }}\right)}{\partial {\hat {\alpha }}}}=-2\sum _{i=1}^{n}\left(y_{i}-{\hat {\alpha }}-{\hat {\beta }}x_{i}\right)=0\end{aligned}}}$

${\displaystyle {\begin{aligned}\sum _{i=1}^{n}\left(y_{i}-{\hat {\alpha }}-{\hat {\beta }}x_{i}\right)=0\end{aligned}}}$

${\displaystyle {\begin{aligned}\sum _{i=1}^{n}y_{i}=\sum _{i=1}^{n}{\hat {\alpha }}+{\hat {\beta }}\sum _{i=1}^{n}x_{i}\end{aligned}}}$

بضرب الطرفين في ${\displaystyle {\frac {1}{n}}}$

${\displaystyle {\begin{aligned}{\frac {1}{n}}\sum _{i=1}^{n}y_{i}={\hat {\alpha }}{\frac {1}{n}}\sum _{i=1}^{n}1+{\hat {\beta }}{\frac {1}{n}}\sum _{i=1}^{n}x_{i}.\end{aligned}}}$

نحصل علي :

${\displaystyle {\begin{aligned}{\bar {y}}={\hat {\alpha }}+{\hat {\beta }}{\bar {x}}\end{aligned}}}$

قب الاشتقاق الجزئي بالنسبة ل ${\displaystyle {\hat {\beta }}}$ عوض بالنتيجة السابقة ل ${\displaystyle {\hat {\alpha }}}$

${\displaystyle {\begin{aligned}{\underset {{\hat {\alpha }},{\hat {\beta }}}{\mathrm {min} }}\sum _{i=1}^{n}\left(y_{i}-\left({\bar {y}}-{\hat {\beta }}{\bar {x}}\right)-{\hat {\beta }}x_{i}\right)^{2}\end{aligned}}}$

${\displaystyle {\begin{aligned}{\underset {{\hat {\alpha }},{\hat {\beta }}}{\mathrm {min} }}\sum _{i=1}^{n}\left[\left(y_{i}-{\bar {y}}\right)-{\hat {\beta }}\left(x_{i}-{\bar {x}}\right)\right]^{2}\end{aligned}}}$

الان، اشتق جزئيا بالنسبة ل ${\displaystyle {\hat {\beta }}}$ :

${\displaystyle {\begin{aligned}{\frac {\partial \,\mathrm {SSE} \left({\hat {\alpha }},{\hat {\beta }}\right)}{\partial {\hat {\beta }}}}=-2\sum _{i=1}^{n}\left[\left(y_{i}-{\bar {y}}\right)-{\hat {\beta }}\left(x_{i}-{\bar {x}}\right)\right]\left(x_{i}-{\bar {x}}\right)=0\end{aligned}}}$

${\displaystyle {\begin{aligned}\sum _{i=1}^{n}\left(y_{i}-{\bar {y}}\right)\left(x_{i}-{\bar {x}}\right)-{\hat {\beta }}\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}=0\end{aligned}}}$

${\displaystyle {\begin{aligned}{\hat {\beta }}={\frac {}{}}{\frac {\sum _{i=1}^{n}\left(y_{i}-{\bar {y}}\right)\left(x_{i}-{\bar {x}}\right)}{\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}}}={\frac {Cov\left(x,y\right)}{Var\left(x\right)}}\end{aligned}}}$

و في النهاية عوض ب ${\displaystyle {\hat {\beta }}}$ لتحديد ${\displaystyle {\hat {\alpha }}}$

${\displaystyle {\begin{aligned}{\hat {\alpha }}={\bar {y}}-{\hat {\beta }}{\bar {x}}\end{aligned}}}$

• Wolfram MathWorld's explanation of Least Squares Fitting, and how to calculate it
• Mathematics of simple regression (Robert Nau, Duke University)

• بوابة رياضيات
• بوابة إحصاء

في كومنز صور وملفات عن: انحدار خطي بسيط