أرشفة الويب

تعتمد أكثر تقنيات أرشفة الويب شيوعا على زواحف الشبكة (عناكب الشبكة) لأتمتتة عمليات جمع صفحات الويب، حيث تقوم هذه البرمجيات عادة باستعرض تلك الصفحات، بنفس الطريقة التي تمكن المستخدمين من مطالعتها من خلال مستعرضات الويب على أجهزتهم المختلفة، وبالتالي توفر طريقة بسيطة نسبيا لتحصيل المحتوى على الشبكة عن بعد. من أمثلة البرامج الزاحفة التي يكثر استخدامها لأرشفة الويب تتضمن ما يلي:

• هريتركس
• HTTrack
• وجت

هناك العديد من الخدمات المجانية التي يمكن استخدامها لأرشفة موارد الويب بناء على الطلب، وذلك اعتمادا على تقنيات الزحف على الشبكة مثل: خدمة WebCite، خدمة واي باك مشين وخدمات أخرى.

يشير أرشفة قاعدة البيانات إلى أساليب أرشفة المحتوى الأساسي للمواقع المصممة استنادا على قواعد البيانات. يتطلب الأمر عادة استخراج محتوى قاعدة البيانات إلى مخطط منطقي قياسي، باستخدام إكس إم إل غالبا. هكذا تصبح المحتويات المؤرشفة من قواعد البيانات المتعددة متاحة باستخدام نظام وصول واحد، متى خزنت في تلك الهيئة القياسية الموحدة.

يتمثل هذا النهج من قبل أدوات DeepArc وXinq التي طورتها كل من المكتبة الوطنية الفرنسية والمكتبة الوطنية الأسترالية على التوالي. تمكن أداة DeepArc من تعيين بنية قاعدة البيانات المترابطة إلى مخطط XML، ثم يصدر المحتوى إلى وثيقة إكس إم إل. تسمح أداة Xinq بعد ذلك بتسليم هذا المحتوى عبر الإنترنت، كما تسمح بتكرار وظائف الاستعلام والاسترجاع الأساسية لقاعدة البيانات، وذلك على الرغم من أن التخطيط الأصلي وسلوك الموقع لا يمكن الحفاظ عليها تماما.

تعتمد أرشفة المعاملات نهج قائم على الحدث؛ حيث يجمع المعاملات الفعلية التي تجري بين خوادم الويب من جهة الموقع ومتصفحات الويب من جهة الزائر. تستخدم تلك المعاملات في المقام الأول كوسيلة لحفظ أدلة من المحتوى الفعلي الذي طالعه زوار موقع ويب معين في تاريخ معين. قد يمثل هذا أهمية خاصة لدى المنظمات التي تحتاج إلى الامتثال للمتطلبات القانونية والتنظيمية من أجل الكشف عن المعلومات والاحتفاظ بها.

يعمل نظام أرشفة المعاملات عادة عن طريق اعتراض كل طلب بروتوكول HTTP واستجابة من خادم الويب، كما يعمل أيضا على تصفية تلك الاستجابات للقضاء على ازدواجية المحتوى، ومن ثم يقوم بتخزينها بصورة دائمة من خلال bitstreams. هناك نظام أرشفة معاملات يتطلب تثبيت برنامج على خادم الويب، وبالتالي لا يمكن استخدامها لجمع المحتوى من موقع بعيد.

تستند محفوظات الويب إلى تقنيات الزحف على شبكة الإنترنت، باعتبارها الوسيلة الرئيسية لتجميع صفحات الويب. تتأثر تلك المحفوظات بالصعوبات التي تواجه البرامج الزاحفة على الشبكة فيما يلي:

• من الممكن أن يطلب بروتكول استبعاد الروبوتات من الزواحف عدم الوصول لبعض أجزاء الموقع المستهدف بالحفظ على شبكة الإنترنت. قد يتجاهل بعض أمناء أرشيف الويب مثل هذا الطلب، ويقومون بتصفح تلك الأجزاء على أية حال.
• قد تكون أجزاء كبيرة من أحد الموقع على الشبكة مخبأة في الويب الخفي. على سبيل المثال، فإن صفحة النتائج وراء نموذج ويب تكمن في الوبب العميق، لأن الزواحف لا يمكنها تتبع الرابط إلى تلك الصفحة.
• قد يتسبب فخ الزاحف (على سبيل المثال: التقويمات) في قيام البرنامج بتحميل عددا لانهائيا من صفحات الويب. لذا يقوم المبرمجون عادة بضبط تلك العناكب للحد من عدد الصفحات الديناميكية التي تطلبها أثناء القيام بعمليات حفظ محتوى المواقع.

ومع ذلك، يجب ملاحظة أن أرشيف الإنترنت بتنسيق أصلى (أي: ذلك الأرشيف الذي يمكن تصفح محتوياته بشكل كامل، من روابط عاملة، ملفات ميديا، ونحو ذلك) يكون متاحا فقط من خلال استخدام تكنولوجيا زاحف الشبكة.

أصبح الويب من الضخامة بحيث جعلت من الزحف على جزء كبير منه يستهلك كمية كبيرة من الموارد التقنية المتاحة، كما أن الويب آخذ في التغير بسرعة، حتى أن أجزاء من موقع ما على الشبكة قد تتغير قبل أن تنتهي البرامج الزاحفة من عمليات التقاط محتوياته.

ضبطت بعض خوادم الويب لتقوم بإرجاع الصفحات التي تطلبها البرامج الزاحفة بطريقة مختلفة عن تلك التي تستجيب بها لطلبات مستعرضات الويب المعتادة.[3] يحدث ذلك عادة لخداع محركات البحث كي تقوم بتوجيه حركة الزائرين لموقع ما، كما يحدث غالبا لتجنب المسائلة، أو من أجل تقديم المحتوى المعزز فقط إلى متصفحات الويب القادرة على عرضه بصورة صحيحة لزائري الموقع.

لا يجب على أمناء أرشيف الويب التعامل مع التحديات التقنية لأرشفة محتوى الشبكة فقط، بل ينبغى عليهم أن يتعاملوا مع قوانين الملكية الفكرية أيضا. أفاد بيتر ليمان بأنه "على الرغم من النظرة الشائعة إلى الويب باعتبارها مصدرا ذي ملكية عامة، فإنها محفوظة الحقوق؛ وبالتالي فإن أمناء محفوظات الويب لا يملكون حقا قانونيا لنسخ الشبكة".[4] ومع ذلك، فإن المكتبات الوطنية في العديد من البلدان لديها الحق القانوني للقيام بنسخ أجزاء من الشبكة بموجب امتداد الإيداع القانوني.[5]

تسمح بعض محفوظات الويب الخاصة غير الربحية لمالكي المحتوى من القيام بإخفاء أو إزالة المحتويات المؤرشفة التي لا يريدون للجمهور أن يصل إليها، حيث أن هذه الخدمات متاحة للجمهور على الشبكة من خلال مواقع الأرشيف الخاصة بها، ومن أمثلتها: WebCite؛ أرشيف الإنترنت ومؤسسة ذاكرة الإنترنت. توجد بعض الأرشيفات الأخرى تقصر الوصول إليها على مواقع جغرافية معينة فقط، أو أن لديها تنظيم محدد لإستخدام مواردها.

توجد أمثلة للاعتراض على خدمات أرشفة الويب، منها الدعوى القضائية التي أقامها أحد المؤلفين ضد شركة جوجل عام 2006 لقيام خدمتها لأرشفة الويب[lower-alpha 3] بحفظ نسخة من قصة قام بنشرها على موقعه، مطالبا الشركة بحذفها من أرشيفهم بدعوى انتهاكها حقوق الملكية؛ لكن صدر حكم المحكمة لصالح جوجل مفاداه أن عمليات أرشفة الويب للمواد ذات حقوق الملكية الفكرية تدرج تحت بند الاستخدام العادل.[6]