معيار أكايكي للمعلومة

خلال تجريب العديد من النماذج في إشكالية إحصائية ما، يمكن ترجيح النموذج ذي أقل قيمة لمعيار أكايكي. المعيار يستند إلى التوفيق بين تحسين جودة المطابقة و تخفيف تعقد النمذجة. و بذلك، هو لا يرجح كفة النماذج ذات الوسائط الكثيرة، و التي، بطبيعتها يمكن أن تنتج إفراط مطابقة (بالإنجليزية: Overfitting)‏ (لأن تكثير الوسائط في نموذج ما يحسن بالضرورة جودة المطابقة).

معيار أكايكي مبني على نظرية المعلومات، وهو أيضا تقدير لكمية المعلومات المحجوبة، عبر استعمال النموذج المختار. بافتراض أن البيانات مولدة من معلاج مجهول ${\displaystyle f}$، وباعتبار وجود نموذجين مرشحين لوصف ${\displaystyle f}$، هما ${\displaystyle g_{1}}$ و ${\displaystyle g_{2}}$.

إذا كان ${\displaystyle f}$ معروفا فإن:

• كمية المعلومات الضائعة باستعمال ${\displaystyle g_{1}}$ لتمثيل ${\displaystyle f}$ تستنتج بحساب تباعد كولباك لايبلر ${\displaystyle D_{\mathrm {KL} }(f\|g_{1})}$
• و بنفس الطريقة، تكون كمية المعلومات الضائعة باستعمال ${\displaystyle g_{2}}$ لتمثيل ${\displaystyle f}$ هي ${\displaystyle D_{\mathrm {KL} }(f\|g_{2})}$

أحسن نموذج يستنتج مباشرة باختيار ذي أقل قيمة تباعد.

برهن أكايكي في 1973، بأن معيار أكايكي يمكن من تقدير كمية المعلومة المحجوبة، عبر ${\displaystyle g_{1}}$ و ${\displaystyle g_{2}}$ حتى و إن كان ${\displaystyle f}$ مجهولا.

• بوابة إحصاء