معلومات متبادلة

المعلومات المتبادلة أو المعلومات المنقولة (بالإنجليزية: Mutual information)‏ هو مصطلح من نظرية المعلومات، تدل على قوة الارتباط الإحصائي لمتغيرين عشوائيين. وتسمى المعلومات المنقولة أيضاً توليف (بالإنجليزية: Synentropie)‏. على النقيض من توليف سلسلة ماركوف من الدرجة الأولى، والذي يعبر عن إسراف المصدر وبالتالي يجب أن يكون في حده الأدنى، يمثل تزامن القناة متوسط محتوى المعلومات الذي يصل من جهاز الإرسال إلى جهاز الاستقبال وبالتالي يجب أن يكون الحد الأقصى للمعلومات المتاحة للنقل.

تربط قناة بلا ذاكرة بين المصدرين X و Y. يتدفق التحويل من X إلى Y. يتصرف المصدر المتلقي Y للمصدر المرسل X مثل المصدر. لا يوجد فرق بين المتلقي والمرسل. كلما كانت المصادر تعتمد على بعضها البعض، كلما توفرت المزيد من المعلومات العابرة.

نظرية المعلومات
إنتروبي Differential entropy إنتروبيا شرطية إنتروبي مشترك معلومات متبادلة Conditional mutual information تباعد كولباك - ليبلير Entropy rate إسراف Limiting density of discrete points ترميز خاصية تصحيح الخطأ كشف وتصحيح أخطاء
Asymptotic equipartition property Rate–distortion theory
Shannon's source coding theorem سعة القناة نظرية تكويد القناة الصاخبة Shannon–Hartley theorem

يستخدم مصطلح الانتروبيا في بعض الأحيان، ولكن هذا يتوافق مع تباعد كولباك-ليبلر.

يرتبط التحول المطلق ارتباطًا وثيقًا بالانتروبيا والانتروبيا الشرطية. هذه هي الطريقة التي يتم بها حساب التحول ${\displaystyle I(X;Y)}$ كالآتي:

تعريف الفرق بين إنتروبيا المصدر و‌الالتباس أو إنتروبيا الاستقبال والمعلومات الخاطئة:

${\displaystyle I(X;Y)=H(X)-H(X\vert Y)=H(Y)-H(Y\vert X).}$

التعريف عبر الاحتمالات:

${\displaystyle I(X;Y)=\sum _{x}{}\sum _{y}{}p(x,y)\cdot \log _{2}\left({\frac {p(x,y)}{p(x)p(y)}}\right).}$ [1]

تعريف حول تباعد كولباك - ليبلير:

${\displaystyle I(X;Y)=D(p(x,y)\|p(x)p(y)).}$

تعريف القيمة المتوقعة:

${\displaystyle I(X;Y)=E\left\{\log _{2}\left({\frac {p(x,y)}{p(x)p(y)}}\right)\right\}.}$

إذا اختفى التحويل، يمكننا الحديث عن الاستقلال الإحصائي للمتغيرين العشوائيين. يصبح التحويل أكبر قدر ممكن عندما يمكن حساب متغير عشوائي واحد بالكامل من الآخر.

قناتان بلا ذاكرة تربط ثلاثة مصادر. يمكن إرسال معلومات تحويل I (x؛ y) من مصدر المرسل X إلى مصدر المستقبل Y. إذا تم إعادة توجيه معلومات التحويل، يتلقى مصدر جهاز الاستقبال Z معلومات التحويل من I (X؛ Z). يمكن للمرء أن يرى بوضوح هنا أن المعلومات التحويلية تعتمد على مقدار المراوغة.

يعتمد تبادل المعلومات على تعريف المعلومات باستخدام الإنتروبيا (عدم اليقين، متوسط محتوى المعلومات) الذي قدمه كلود شانون. إذا زادت المعلومات المنقولة، يقل الشك بشأن المتغير العشوائي، بشرط أن يكون الآخر معروفًا. إذا كانت المعلومات المنقولة بحدها الأقصى، يختفي عدم اليقين. كما يتبين من التعريف الرسمي، يتم تقليل عدم اليقين لمتغير عشوائي عن طريق معرفة متغير آخر. يتم التعبير عن هذا في المعلومات المنقولة.

تلعب المعلومات المنقولة على سبيل المثال دورًا في نقل البيانات، يمكن استخدامه لتحديد سعة القناة.

وفقًا لذلك، يمكن أن تعتمد الإنتروبيا أيضًا على اثنين من الأنتروبيا المختلفة، التي تعتمد على بعضها البعض، وهي:

يتم استخدام مصطلحات مختلفة في المراجع المتخصصة. ويشار إلى الالتباس أيضًا على أنها "إنتروبيا الخسارة" والمعلومات الخاطئة على أنها "غير ذات صلة". ويشار أيضًا إلى المعلومات المحولة بأنها "انتقال" أو "متوسط محتوى المعلومات المحولة".