إنتروبيا شرطية

في نظرية المعلومات، تحدد الإنتروبيا الشرطية (أو الالتباس equivocation) كمية المعلومات اللازمة لوصف نتيجة متغير عشوائي بالنظر إلى أن قيمة متغير عشوائي آخر معروف. هنا، يتم قياس المعلومات في شانون، ناتس، أو hartleys. انتروبيا مشروطة مكتوب مثل .

تعريف

يوضح مخطط فين العلاقات المضافة والطرحية مقاييس المعلومات المختلفة المرتبطة بالمتغيرات المرتبطة و . المنطقة التي تحتوي عليها كلتا الدائرتين هي الانتروبيا المشتركة . الدائرة على اليسار (الأحمر والبنفسجي) هي الإنتروبيا الفردية ، مع انتروبيا الحمراء إنتروبيا مشروطة . الدائرة على اليمين (الأزرق والبنفسجي) ، مع المجال الأزرق . البنفسج هو المعلومات المتبادلة .

الانتروبيا الشرطية بفرض يعرف بـ

 

 

 

 

(Eq.1)

حيث و تدل على مجموعات الدعم و .

ملاحظة: من المعتاد أن تكون التعابير و للإصلاح يجب أن تعامل على أنها تساوي الصفر. هذا بسبب و [1]

شرح بديهي للتعريف : حسب التعريف ، حيث . مرتبطة بـ محتوى المعلومات بفرض وهو مقدار المعلومات اللازمة لوصف الحدث بفرض . وفقا لقانون الأعداد الكبيرة، هي المعنى الحسابي لعدد كبير من التحويلات المستقلة.


انظر أيضًا

المراجع

  1. "David MacKay: Information Theory, Pattern Recognition and Neural Networks: The Book". www.inference.org.uk. مؤرشف من الأصل في 07 يناير 2020. اطلع عليه بتاريخ 25 أكتوبر 2019. الوسيط |CitationClass= تم تجاهله (مساعدة)
    • بوابة رياضيات
    • بوابة علم الحاسوب
    This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.