النموذج الخطي المعمم

المجموعة الأسية على مدى تشتت التوزيعات هي تعميم نموذج التوزيعات للمجموعة الأسية وتشتت الأسي وتشمل تلك التوزيعات الاحتمالية، الرموزτ,θ ، التي لها دالة f (أو دالة احتمال كتلة الكثافة، لحالة توزيع منفصلة) يمكن التعبير عنها في شكل:

${\displaystyle f_{Y}(\mathbf {y} |{\boldsymbol {\theta }},\tau )=h(\mathbf {y} ,\tau )\exp {\left({\frac {\mathbf {b} ({\boldsymbol {\theta }})^{\rm {T}}\mathbf {T} (y)-A({\boldsymbol {\theta }})}{d(\tau )}}\right)}.\,\!}$

τ يطلق عليها مقدار التشتت، معروف في الغالب، وعادة ما يرتبط التباين في التوزيع، الدوال (h(y,τ,b(θ),T(y),A(θو (d(τ معلومين وهي من من التوزيعات الأكثر شيوعا في هذه المجموعة. لقيمة مدرجة ل ${\displaystyle Y}$ و${\displaystyle \theta }$ هذا يقلل إلى

${\displaystyle f_{Y}(y|\theta ,\tau )=h(y,\tau )\exp {\left({\frac {b(\theta )T(y)-A(\theta )}{d(\tau )}}\right)}.\,\!}$

${\displaystyle {\boldsymbol {\theta }}}$ تتعلق بمتوسط التوزيع، لو أن ${\displaystyle \mathbf {b} ({\boldsymbol {\theta }})}$ هي دالة منفردة، ثم يقال توزيع ليكون في شكل الكنسي (أو شكل طبيعي ). لاحظ أن أي توزيع يمكن تحويلها إلى شكل قانوني عن طريق إعادة كتابة ${\displaystyle {\boldsymbol {\theta }}}$ كـ${\displaystyle {\boldsymbol {\theta }}'}$ ثم تطبيق التحويلات ${\displaystyle {\boldsymbol {\theta }}=\mathbf {b} ({\boldsymbol {\theta }}')}$. فمن الممكن دائماً تحويل ${\displaystyle A({\boldsymbol {\theta }})}$ في صورة بارميتر جديدة حتي لو ${\displaystyle \mathbf {b} ({\boldsymbol {\theta }}')}$ ليس [دالة[واحد إلى واحد | واحد إلى واحد]] . انظر التعليقات في الصفحة على المجموعة الأسية. إذا، بالإضافة إلى ذلك،${\displaystyle \mathbf {T} (y)}$ منفردة و ${\displaystyle \tau }$ قيمة معروفة، ثم ${\displaystyle {\boldsymbol {\theta }}}$ يطلق عليها و البارميتر الكنسي (أو البارميتر الطبيعي ) ويرتبط إلى المتوسط من خلال

${\displaystyle {\boldsymbol {\mu }}=\operatorname {E} (\mathbf {Y} )=\nabla A({\boldsymbol {\theta }}).\,\!}$

لقيمة مدرجة ل ${\displaystyle Y}$ و${\displaystyle \theta }$ هذا يقلل إلى

${\displaystyle \mu =\operatorname {E} (Y)=A'(\theta ).\,\!}$

وفي ظل هذا السيناريو، التباين في توزيع يمكن أن تظهر أن يكون

${\displaystyle \operatorname {Var} (\mathbf {Y} )=\nabla \nabla ^{\rm {T}}A({\boldsymbol {\theta }})d(\tau ).\,\!}$

لقيمة مدرجة ل ${\displaystyle Y}$ و${\displaystyle \theta }$ هذا يقلل إلى

${\displaystyle \operatorname {Var} (Y)=A''(\theta )d(\tau ).\,\!}$

التنبؤ الخطي هي الكمية التي تتضمن معلومات حول المتغيرات المستقلة في النموذج. والرمز η (اليونانية "ايتا") يدل على تنبؤ خطي. ويعود ذلك إلى القيمة المتوقعة للبيانات (وبالتالي، "مؤشرا") من خلال دالة الإتصال.

وبعرف η كالتركيبات الخطية (وبالتالي، "خطية") من المعلمات غير معروفة β. يتم تمثيل المعاملات التركيبة الخطية مثل المصفوفة من المتغيرات المستقلة X. ويتم التعبير عن η:-

${\displaystyle \eta =\mathbf {X} {\boldsymbol {\beta }}.\,}$

توفر دالة الإتصال العلاقة بين المؤشر الخطي ومتوسط دالة التوزيع . هناك العديد من دوال الربط الشائعة، واختيارهم يمكن أن يكون تعسفيا إلى حد ما. فمن المنطقي محاولة التناسق مع مجال دالة الرابط ومجموعة من متوسط دالة التوزيع. عند استخدام دالة التوزيع مع الكنسي المعلمة θ، وظيفة الارتباط الكنسي هي وظيفة التي تعبر عن θ من حيث ${\displaystyle \mu }$, i.e. ${\displaystyle \theta =b(\mu )}$. لتوزيعات الأكثر شيوعا، يعني ${\displaystyle \mu }$ هي واحدة من المعلمات في النموذج القياسي لدالة الكثافة للتوزيع، ومن ثم ${\displaystyle b(\mu )}$ هي وظيفة على النحو المحدد أعلاه أن خرائط الكثافة وظيفة في شكلها المتعارف عليه. عند استخدام وظيفة الربط الكنسي،${\displaystyle b(\mu )=\theta =\mathbf {X} {\boldsymbol {\beta }}}$، والذي يسمح ${\displaystyle \mathbf {X} ^{\rm {T}}\mathbf {Y} }$ أن يكون كافيا إحصائية ل ${\displaystyle {\boldsymbol {\beta }}}$.

وفيما يلي جدول عدة توزيعات المجموعة الأسية في الاستعمال الشائع والبيانات عادة ما تستخدم ل، جنبا إلى جنب مع وظائف الارتباط الكنسي والعكوس الخاصة (التي يشار إليها أحيانا على أنها وظيفة المتوسط، كما فعلت هنا).

توزيعات منشرة مع الاستخدامات النموذجية وظائف الارتباط الكنسي

التوزيع	دعم التوزيع	الاستخدامات المتعددة	اسم الرابط	دالة الربط	متوسط الدالة
عادي	حقيقي: ${\displaystyle (-\infty ,+\infty )}$	استجابة البيانات الخطية	غير متكرر	${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mu \,\!}$	${\displaystyle \mu =\mathbf {X} {\boldsymbol {\beta }}\,\!}$
أسي	جقيقي: ${\displaystyle (0,+\infty )}$	استجابة البيانات الأسية، نطاق الدوال	معكوس	${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=-\mu ^{-1}\,\!}$	${\displaystyle \mu =-(\mathbf {X} {\boldsymbol {\beta }})^{-1}\,\!}$
جاما
المعكوس جاوس	حقيقي: ${\displaystyle (0,+\infty )}$		معكوس التربيعي	${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=-\mu ^{-2}\,\!}$	${\displaystyle \mu =(-\mathbf {X} {\boldsymbol {\beta }})^{-1/2}\,\!}$
بواسون	عدد صحيح: ${\displaystyle 0,1,2,\ldots }$	مرات التكرار في كمية محددة من الزمن / الفضاء	لوج	${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\ln {(\mu )}\,\!}$	${\displaystyle \mu =\exp {(\mathbf {X} {\boldsymbol {\beta }})}\,\!}$
برنولي	رقم صحيح: ${\displaystyle \{0,1\}}$	نتائج نعم واحد / عدم حدوث ذلك	لوجت	${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\ln {\left({\frac {\mu }{1-\mu }}\right)}\,\!}$	${\displaystyle \mu ={\frac {\exp {(\mathbf {X} {\boldsymbol {\beta }})}}{1+\exp {(\mathbf {X} {\boldsymbol {\beta }})}}}={\frac {1}{1+\exp {(-\mathbf {X} {\boldsymbol {\beta }})}}}\,\!}$
ذو الحدين	integer: ${\displaystyle 0,1,\ldots ,N}$	عد من # من "نعم" الحوادث من ن نعم / لا الحوادث
القاطع	رقم صحيح: ${\displaystyle [0,K)}$	نتائج حدوث K-طرق المفردة
	K-متجه صحيح: ${\displaystyle [0,1]}$, حيث عنصر واحد بالضبط في المتجه له قيمة 1
متعدد الحدود	K-متجه أرقام صحيحة: ${\displaystyle [0,N]}$	عد من الحوادث من أنواع مختلفة (1 .. K) من ن K-طرق الحدوث

في حالات التوزيعات الأسية وجاما، مجال دالة الربط الكنسي ليست هي نفسها كما النطاق المسموح به للمتوسط. على وجه الخصوص، قد يكون المؤشر الخطي سلبيا، الذي من شأنه أن يعطي متوسط سلبي مستحيل. عندما تعظيم الاحتمالات، ويجب اتخاذ الاحتياطات اللازمة لتجنب ذلك. والبديل هو استخدام دالة الارتباط الغير كنسية.

نلاحظ أيضا أنه في حالة برنولي، توزيع ذات الحدين، الفئوية ومتعددة الحدود، بدعم من توزيعات ليست هي نفس النوع من البيانات كالمتغير الذي يتم توقعه. في كل هذه الحالات، المتغير المتوقع هو واحد أو أكثر الاحتمالات، أي أن الأعداد الحقيقية في نطاق ${\displaystyle [0,1]}$. ومن المعروف أن النموذج الناتج باسم الانحدار اللوجستي (أو الانحدار متعدد الحدود اللوجستي في حالة أن K-الطريقة بدلا من القيم الثنائية يجري توقع).

التوزيعات الفئوية ومتعددة الحدود، المعلمة أن توقع هو K - متجه الاحتمالات، مع تقييد المزيد من أن جميع الاحتمالات يجب أن تضيف ما يصل إلى 1. كل الاحتمالات تشير لاحتمالية حدوث واحدة من K القيم الممكنة. لتوزيع متعدد الحدود، وللنموذج متجه توزيع القاطع، القيم المتوقعة من عناصر مكافحة ناقلات يمكن أن تكون ذات صلة إلى احتمالات توقع على نحو مماثل لتوزيعات ذات الحدين وبرنولي.

تقديرات الحد الأقصي للاحتمال يمكن العثور عليها باستخدام إعادة التوزيع المتكررة أقل مسافة مربعة الساحات خوارزمية أقل باستخدام طريقة نيوتن رافسون مع تحديثات النموذج:

${\displaystyle {\boldsymbol {\beta }}^{(t+1)}={\boldsymbol {\beta }}^{(t)}+{\mathcal {J}}^{-1}({\boldsymbol {\beta }}^{(t)})u({\boldsymbol {\beta }}^{(t)}),}$

حيث ${\displaystyle {\mathcal {J}}({\boldsymbol {\beta }}^{(t)})}$ هي مصفوفة المعلومات (سلبية للمصفوفة هس) و ${\displaystyle u({\boldsymbol {\beta }}^{(t)})}$ is في وظيفة بنتيجة؛ أو [[التسجيل] فيشر] طريقة:

${\displaystyle {\boldsymbol {\beta }}^{(t+1)}={\boldsymbol {\beta }}^{(t)}+{\mathcal {I}}^{-1}({\boldsymbol {\beta }}^{(t)})u({\boldsymbol {\beta }}^{(t)}),}$

حيث ${\displaystyle {\mathcal {I}}({\boldsymbol {\beta }}^{(t)})}$ هي المعلومات مصفوفة فيشر. لاحظ أنه إذا تم استخدام دالة الارتباط الكنسي، ثم أنها هي نفسها.[1]

بشكل عام، التوزيع الخلفي لا يمكن العثور عليها في شكل مغلق ولذا يجب تقتريبه، وعادة ما تستخدم تقريبية لابلاس أو أي نوع من سلسلة ماركوف مونت كارلو مثل جيبس أخذ العينات.

وهناك نقطة ممكنة من الارتباك لديها ما تفعله مع التمييز بين النماذج الخطية المعمم والنموذج الخطي العام، واثنين من نماذج إحصائية واسعة النطاق.ويمكن الاطلاع على النموذج الخطي العام كحالة خاصة من طراز خطي المعمم مع وصلة بالهوية والردود موزعة بشكل عادي. كما يتم الحصول على معظم النتائج الدقيقة المرغوبة فقط عن النموذج الخطي العام، والنموذج الخطي العام شهدت تطورا إلى حد ما يعد للتطور التاريخي.نتائج النموذج الخطي المعمم مع وصلة غير الهوية مقاربة (تميل للعمل بشكل جيد مع عينات كبيرة).

مثال بسيط ومهم جدا من النموذج الخطي المعمم (أيضا مثالا للنموذج الخطي العام) هو الانحدار الخطي. في الانحدار الخطي، استخدام مقدر المربعات الصغرى التي كتبها نظرية جاوس-ماركوف له ما يبرره، والتي لا نفترض أن التوزيع طبيعي.

من وجهة نظر النماذج الخطية المعممة، ومع ذلك، فإنه من المفيد أن نفترض أن دالة التوزيع هو توزيع العادي مع التباين الثابت وربط الوظيفة معرفة، التي هي الرابط الأساسي إذا كان من التباين معروف.

بالنسبة للتوزيع الطبيعي، النموذج الخطي المعمم لديه شكل صيغة مغلقة لتقديرات الحد الأقصى-الاحتمالات، هي مناسبة. معظم GLMs الاخري ينقصها تقديرات النموذج المغلقة.

عندما تكون البيانات المستجابة, Y، ثنائية (مع اخذ القيم 0 و1 فقط )، يتم اختيار وظيفة التوزيع عموما أن يكون توزيع برنولي وتفسير μi بعد ذلك احتمال، P،من Y وأخذ قيمة واحدة. هناك عدة دوال اتصال معروفة للوظائف ذات الحدين؛ الأكثر شيوعا هو الرابط القانونكل:

${\displaystyle g(p)=\ln \left({p \over 1-p}\right).}$

GLMs مع هذا الإعداد هي نماذج الانحدار اللوجستي (أو نماذج الوجت). بالإضافة إلى ذلك، معكوس أي دالة توزيع تراكمي مستمر يمكن استخدامها للاتصال حيث ان نطاق التوزيع التراكمي المستمر هو [0,1]،مدي متوسط الحدين. التوزيع التراكمي المستمر الطبيعي فاي هو أشهر اختيار وتعطي النموذج الاحتمالي. واتصالها هو

${\displaystyle g(p)=\Phi ^{-1}(p).\,\!}$

سبب استخدام نموذج الاحتمالية هو أن التوسع المستمر للمتغير الداخل إلى التوزيع التراكمي المستمر الطبيعي (والتي يمكن استيعابها من خلال التوسع يعادل كافة العوامل) تؤدي الي دالة مطابقة عمليا إلى دالة الوجت، ولكن النماذج الاحتمالية هي أكثر مرونة في بعض الحالات من نماذج الوجت. (في إطار النظرية الافتراضية التي يتم وضع التوزيعات السابقة عادة على العوامل، العلاقة بين دوال الاتصال الطبيعية السابقة ودوال الاتصال للتوزيع التراكمي المستمر الطبيعي يعني أن نموذج الاحتمالية يمكن حسابها باستخدام عينات جيبس، في حين أن نموذج الوجت لا يمكنها عموما).

والدالة المكملة لدالة log-log هي (((log(−log(1−p) يمكن أيضا أن تستخدم.دالة الاتصال هذه غير متناظرة، وكثيرا ما تعطي نتائج مختلفة عن دوال الاتصال الاحتمالية والوجت. ^{[بحاجة لمصدر]}

كما يتم استخدام دالة الوحدة بعض الأحيان لبيانات ذات الحدين لانتاج نموذج الاحتمال الخطي، ولكن المشكلة في هذا النموذج هو أن الاحتمالات المتوقع يمكن أن تكون أكبر من واحد أو أقل من الصفر. في التنفيذ فمن الممكن لإصلاح الاحتمالات التي لا معنى لها خارج [0,1]، ولكن تفسير المعاملات يمكن أن يكون صعبا.الجدارة الأولية للنموذج هي أن تكون الاحتمالية بالقرب من 0.5 وهو ما يقرب من تحويل خطي من الاحتمالية والوجت الاقتصادي ويسمي هذا أحيانا نموذج هارفارد.

ودالة التباين للبيانات ذات الحدين تعطي ب :

${\displaystyle \operatorname {Var} (Y_{i})=\tau \mu _{i}(1-\mu _{i})\,\!}$

حيث عادة ما يتم ضبط معامل التشتت τ ليكون واحد بالضبط. عندما لا يكون كذلك، النموذج الناتج شبه احتمال كثيرا ما يوصف بأنه ذات الحدين متسع التشتت أو شبه الحدين

حالة ذات الحدين يجوز تمديدها بسهولة للسماح لتوزيع متعدد الحدود كاستجابة (أيضا، وهو نموذج الخطي المعمم للتعدد، مع مجموعه مقيدة). هناك نوعان من الطرق التي تتم عادة:

إذا كان المتغير المستجيب هو قياس ترتيبي، ثم واحدة تناسب دالة النموذج تكون علي الشكل التالي:

${\displaystyle g(\mu _{m})=\eta _{m}=\beta _{0}+X_{1}\beta _{1}+\ldots +X_{p}\beta _{p}+\gamma _{2}+\ldots +\gamma _{m}=\eta _{1}+\gamma _{2}+\ldots +\gamma _{m}\,}$  

حيث ${\displaystyle \mu _{m}=\mathrm {P} (Y\leq m)\,}$ 

حيث m > 2 , مختلف الروابط تؤدي إلى نماذج فردية نسبية أو نماذج احتمالية مرتبة

إذا كان المتغير المستجيب هو القياس الا سمي أو البيانات لا تفي افتراضات نموذج مرتب، يمكن أن نستخدم نموذجا علي الشكل التالي:

${\displaystyle g(\mu _{m})=\eta _{m}=\beta _{m,0}+X_{1}\beta _{m,1}+\ldots +X_{p}\beta _{m,p}\,}$   حيث ${\displaystyle \mu _{m}=\mathrm {P} (Y=m\mid Y\in \{1,m\})\,}$

حيث m> 2. روابط مختلفة g تؤدي إلى نماذج لوجت متعددة الحدود أو نماذج احتمالية متعددة الحدود. هذه هي أعم من نماذج الاستجابة المرتبة، وعوامل أكثر يمكن تقديرها

مثال آخر علي النماذج الخطية المعممة تتضمن انحدار بواسون النماذج التي تحسب فيها البيانات باستخدام توزيع بواسون. هذا الرابط هو بالضبط اللوغاريتم، الرابط الأساسي. دالة التباين يتناسب مع المتوسط

${\displaystyle \operatorname {var} (Y_{i})=\tau \mu _{i},\,}$

حيث عادة ما ضبط معامل التشتت τ ليكون واحد بالضبط. عندما لا يكون كذلك، النموذج الناتج شبه احتمال كثيرا ما يوصف بأنه ذات الحدين متسع التشتت أو شبه الحدين

• معادلات التقدير المعمم : وهذه المعادلات تسمح بوجود علاقة بين الملاحظات بدون استخدام نموذج احتمال واضح لأصل الارتباط ولذلك فانه يس هناك احتمال واضح وصريح. وتعتبر مثل هذه المعادلات مناسبة عندما تكون التأثيرات العشوائية والفروق ليست ذات الفائدة الكامنة، كما أنها تسمح للارتباط ووجود علاقة بين الملاحظات دون أن يوضح مصدره. وينصب التركيز على تقدير امتوسط بالنسبة للعينة كلها (أثار متوسط العينة) بدلا من بارامترات الانحدار التي من شأنها أن تمكن من التنبؤ بتأثير تغيير واحد أو أكثر من عناصر X على شخص معين.وتستخدم معادلات التقدير المعمم بالتزامن مع أخطاء هوبر وايت القياسية ^{[الإنجليزية]} .

• نماذج مختلطة خطية معممة : وهى تعتبرامتداد للنماذج الخطية المعممة التي تتضمن التأثيرات العشوائية في التنبؤ الخطي، عن طريق إعطاء نموذج احتمال واضح يفسر أصل الارتباط. وتعتبر نواتج تقديرات المعامل للمواضيع المحددة مناسبة عندما يكون التركيز على تقدير تأثير تغيير واحد أو أكثر من عناصر X على شخص معين. وتسمى هذه النماذج ايضا بالنماذج متعددة المستويات ^{[الإنجليزية]} أو النموذج المختلط ^{[الإنجليزية]} .وبشكل عام يعتبر التلائم باستخدام النماذج المختلطة أكثر حسابيا وتعقيدا من معادلات التقدير المعمم .

وتعتبر النماذج المضافة العامة ^{[الإنجليزية]} امتداد اخر للنموذج الخطى المعمم والتي لا تقتصر على التنبؤ الخطي η أن يكون خطيا في المتغيرات X ولكن هو مجموع وظائف التجاننس ^{[الإنجليزية]} مطبقة على المتغيرات xis : η=β_0+ f_1 (X_1 )+ f_2 (X_2 )+..… ويتم تقدير وظائف التجانس f_i من البيانات . وبشكل عام هذا يتطلب وجود عدد كبير من نقاط البيانات وغير مكثفة حسابيا.