إنتروبيا شرطية

يوضح مخطط فين العلاقات المضافة والطرحية مقاييس المعلومات المختلفة المرتبطة بالمتغيرات المرتبطة ${\displaystyle X}$ و ${\displaystyle Y}$ . المنطقة التي تحتوي عليها كلتا الدائرتين هي الانتروبيا المشتركة ${\displaystyle \mathrm {H} (X,Y)}$. الدائرة على اليسار (الأحمر والبنفسجي) هي الإنتروبيا الفردية ${\displaystyle \mathrm {H} (X)}$ ، مع انتروبيا الحمراء إنتروبيا مشروطة ${\displaystyle \mathrm {H} (X|Y)}$ . الدائرة على اليمين (الأزرق والبنفسجي) ${\displaystyle \mathrm {H} (Y)}$ ، مع المجال الأزرق ${\displaystyle \mathrm {H} (Y|X)}$ . البنفسج هو المعلومات المتبادلة ${\displaystyle \operatorname {I} (X;Y)}$ .

الانتروبيا الشرطية ${\displaystyle Y}$ بفرض ${\displaystyle X}$ يعرف بـ

حيث ${\displaystyle {\mathcal {X}}}$ و ${\displaystyle {\mathcal {Y}}}$ تدل على مجموعات الدعم ${\displaystyle X}$ و ${\displaystyle Y}$ .

ملاحظة: من المعتاد أن تكون التعابير ${\displaystyle 0\log 0}$ و ${\displaystyle 0\log c/0}$ للإصلاح ${\displaystyle c>0}$ يجب أن تعامل على أنها تساوي الصفر. هذا بسبب ${\displaystyle \lim _{\theta \to 0^{+}}\theta \,\log \,c/\theta =0}$ و ${\displaystyle \lim _{\theta \to 0^{+}}\theta \,\log \theta =0}$ [1]

شرح بديهي للتعريف : حسب التعريف ، ${\displaystyle \displaystyle H(Y|X)=\mathbb {E} (\ f(X,Y)\ )}$ حيث ${\displaystyle \displaystyle f:(x,y)\ \rightarrow -\log(\ p(y|x)\ )}$. ${\displaystyle \displaystyle f}$ مرتبطة بـ ${\displaystyle \displaystyle (x,y)}$ محتوى المعلومات ${\displaystyle \displaystyle (Y=y)}$ بفرض ${\displaystyle \displaystyle (X=x)}$ وهو مقدار المعلومات اللازمة لوصف الحدث ${\displaystyle \displaystyle (Y=y)}$ بفرض ${\displaystyle (X=x)}$ . وفقا لقانون الأعداد الكبيرة، ${\displaystyle \displaystyle H(Y|X)}$ هي المعنى الحسابي لعدد كبير من التحويلات المستقلة${\displaystyle \displaystyle f(X,Y)}$.

• إنتروبي (نظرية المعلومات)
• معلومات متبادلة
• دالة الإمكان

• بوابة رياضيات
• بوابة علم الحاسوب