التحقق والتحقيق في نماذج محاكاة الحاسوب

يبدو للأشخاص المطلعين على نظام العالم الحقيقي أن النموذج الذي له صلاحية واجهة يمثل تقليدًا معقولًا لنظام العالم الحقيقي. تُختبر صلاحية الواجهة من خلال مطالبة المستخدمين والأشخاص المطلعين على النظام بفحص خرج النموذج للتحقق من معقوليته وتحديد أوجه القصور في العملية. توجد ميزة إضافية لإشراك المستخدمين في عملية التحقيق هي زيادة مصداقية النموذج بالنسبة للمستخدمين وزيادة ثقة المستخدم في النموذج. ويمكن أيضًا استخدام الحساسية لمدخلات النماذج لتقرير مدى صلاحية النموذج. مثلًا، إذا أُجريت محاكاة لطلبات مطعم الوجبات السريعة مرتين، مرة بمعدل وصول 20 زبون في الساعة ومرة بمعدل وصول 40 زبون في الساعة، فمن المتوقع أن تزيد مخرجات النموذج مثل متوسط وقت الانتظار أو الحد الأقصى لعدد الزبائن المنتظرين، بزيادة معدل الوصول.

تنقسم الفرضيات المقدمة حول نموذج بشكل عام إلى فئتين: فرضيات هيكلية حول كيفية عمل النظام وفرضيات البيانات.

الفرضيات المقدمة حول كيفية عمل النظام وكيفية ترتيبه ماديًا هي فرضيات هيكلية. مثل، عدد الخوادم الموجودة في مسار طلب الوجبات السريعة وإذا كان هناك أكثر من خادم فكيف يُستخدم؟ هل تعمل الخوادم بشكل متوازٍ حتى يكمل العميل معاملته بزيارة خادم واحد أو يأخذ أحد الخوادم الطلبات ويتعامل مع الدفع بينما يعد الآخر الطلب ويخدمه؟ تنتج العديد من المشاكل الهيكلية في النموذج عن الفرضيات السيئة أو غير الصحيحة. يجب مراقبة طريقة عمل النظام الفعلي عن كثب إذا أمكن لفهم كيفية عمله. ويجب التحقق من هياكل الأنظمة وتشغيلها مع مستخدمي النظام الفعلي.

يجب توفر كمية كافية من البيانات المناسبة لإنشاء نموذج مفاهيمي والتحقق من النموذج. غالبًا ما يسبب نقص البيانات المناسبة فشلًا في محاولات التحقق من النموذج. لذا يجب التحقق من أن البيانات تأتي من مصدر موثوق. وهناك خطأ نموذجي هو افتراض توزيع إحصائي غير مناسب للبيانات. يجب اختبار النموذج الإحصائي المفترض باستخدام اختبارات حسن المطابقة وغيرها من التقنيات. ومن الأمثلة على اختبارات حسن المطابقة هي اختبار كولموغوروف-سميرنوف واختبار مربع كاي. يجب التحقق من أي خرج للبيانات.

يُنظر إلى النموذج على أنه تحول بين المدخلات والمخرجات لهذه الاختبارات. يتكون اختبار التحقيق من مقارنة المخرجات من النظام المراقب مع المخرجات النموذجية بنفس مجموعة شروط الإدخال. يجب أن تتوفر البيانات المسجلة أثناء مراقبة النظام لإجراء هذا الاختبار. ويجب استخدام ناتج النموذج ذو الاهتمام الأساسي كمقياس للأداء. مثلًا، إذا كان النظام المدروس هو مسار طلب الوجبات السريعة فتكون مدخلات النموذج هي وقت وصول الزبون ومقياس الأداء الناتج هو متوسط وقت انتظار الزبون في الصف، لذا سيسجل وقت الوصول الفعلي والوقت انتظارالزبائن في الصف للطلب. سيشغل النموذج مع أوقات الوصول الفعلية وسيقارن متوسط وقت النموذج في الصف مع متوسط الوقت الفعلي باستخدام اختبار واحد أو أكثر.

يمكن استخدام اختبار الفرضيات الإحصائية الذي يستخدم اختبار تي كأساس لقبول النموذج باعتباره صالحًا أو رفضه باعتباره غير صالح.

الفرضية المراد اختبارها هي:

H0 مقياس الأداء للنموذج = مقياس الأداء للنظام

مقابل

H1 مقياس الأداء للنموذج ≠ مقياس الأداء للنظام.

يجرى الاختبار لحجم عينة معين ومستوى أهمية مُعطى أو α. لإجراء الاختبار، يجرى عدد n من التشغيلات الإحصائية المستقلة للنموذج وتنتج قيمة متوسطة أو متوقعة، E (Y)، لمتغير الاهتمام. ثم تُحسب إحصائية الاختبار، t0 للقيم المُعطاة α وn وE (Y) والقيمة المرصودة للنظام ${\displaystyle t_{0}={(E(Y)-u_{0})}/{(S/{\sqrt {n}})}}$

والقيمة الحرجة ل α و n-1 هي درجات الحرية

تحسب  ${\displaystyle t_{a/2,n-1}}$

إذا كانت${\displaystyle \left\vert t_{0}\right\vert >t_{a/2,n-1}}$

ترفض H0 ويجب تعديل النموذج.

هناك نوعان من الأخطاء التي يمكن أن تحدث باستخدام اختبار الفرضية، الخطأ من النوع الأول أو «مخاطر بناة النموذج» وهو رفض نموذج صالح والخطأ من النوع الثاني أو «مخاطر مستخدم النموذج» وهو قبول نموذج غير صالح. مستوى الأهمية أو α يساوي احتمال الخطأ من النوع الأول. إذا كان α صغيرًا فإن رفض الفرضية الخالية هو استنتاج قوي. مثلًا، إذا كانت α = 0.05 وكانت الفرضية الخالية مرفوضة، فلن يكون هناك سوى احتمال 0.05 لرفض نموذج صالح. تقليل احتمال حدوث الأخطاء من النوع الثاني مهم جدًا. احتمال اكتشاف نموذج غير صالح بشكل صحيح هو 1- β يعتمد احتمال خطأ من النوع الثاني على حجم العينة والفرق الفعلي بين قيمة العينة والقيمة المُلاحظ، فزيادة حجم العينة تقلل خطر حدوث خطأ من النوع الثاني.