أصدرت أمازون ويب سيرفيسز (AWS) مؤخرًا File Mover Express، وهو تطبيق مفتوح المصدر بموجب ترخيص Apache 2.0 لنقل الملفات الكبيرة بين الأنظمة المحلية و Amazon S3. يتوفر التطبيق لأنظمة macOS وويندوز ولينكس، ويدعم عمليات النقل المتوازية، والضبط التلقائي للأداء، وإعادة المحاولة، والإيقاف المؤتقت والاستئناف، والتحقق من سلامة الملفات.
صُممت File Mover Express لنقل الوسائط إلى S3 'بسرعة قصوى'، وتدعم عمليات النقل المتوازية ذات الضبط التلقائي، والإيقاف المؤقت والاستئناف، وواجهة مستخدم رسومية (GUI) لسطح المكتب، وواجهة سطر أوامر (CLI) قابلة للبرمجة، وعمليات الرفع التلقائية من المجلدات المراقبة.
تم تطوير المشروع بشكل أساسي بلغة Go لمحرك النقل الخاص به و TypeScript مع Angular لواجهته الرسومية. كما يدعم التكامل مع مساعدي الذكاء الاصطناعي عبر MCP والمصادقة القائمة على OIDC مع موفري الهوية.
في جوهر File Mover Express يوجد محرك نقل يعتمد على خدمة خلفية (daemon) يفصل عمليات النقل عن جلسة سطح المكتب الخاصة بك. يمكن تشغيل هذه الخدمة الخلفية على الجهاز الذي تختاره، سواء كان محطة عملك، أو خادمًا في مركز البيانات، أو مثيل Amazon Elastic Compute Cloud (Amazon EC2)، بينما تتحكم فيها من واجهة مستخدم رسومية (GUI) بالسحب والإفلات أو واجهة سطر أوامر (CLI) قابلة للبرمجة عبر اتصال مشفر ومحمي بكلمة مرور.
تنقل فرق الوسائط بانتظام تيرابايت من الأصول بين التخزين المحلي والسحابة. غالبًا ما تتضمن عمليات النقل هذه مواعيد نهائية ضيقة وعمليات يجب أن تستمر بعد قطع اتصال المستخدم أو الجهاز البادئ. قد تتوقف برامج النقل التقليدية عند انتهاء جلسة سطح المكتب، بينما يمكن للبدائل التجارية أن تفرض تكاليف ترخيص أو بروتوكولات احتكارية أو بنية تحتية لجهات خارجية. تدعم File Mover Express عمليات الرفع والتنزيل، مما يسمح للفرق بنقل الملفات الكبيرة إلى Amazon S3 واستردادها للتحرير أو المراجعة أو الاستعادة.
المصدر: مشروع GitHub
كيف تضمن File Mover Express أمان وفعالية النقل؟
تقسم File Mover Express الملفات الكبيرة إلى أجزاء وترفعها بالتوازي باستخدام عمليات الرفع متعددة الأجزاء. مع وضع الضبط التلقائي، تقوم بضبط عدد التدفقات المتوازية وأحجام الأجزاء لتحسين الإنتاجية للاتصال المتاح. تدعم عمليات النقل أيضًا إعادة المحاولة القابلة للتكوين والإيقاف المؤقت والاستئناف على مستوى الملف. يضيف كل من داي، وكايير، وموتشيو، وديكسون:
يوفر File Mover Express ميزات أمان تشمل تشفير الملفات أثناء النقل، وتشفير الملفات في حالة السكون، وتشفير مستوى التحكم. تستخدم جميع عمليات النقل بروتوكول HTTPS، ويتم التحكم في الوصول إلى مجموعات S3 الخاصة بك بواسطة AWS Identity and Access Management (IAM) مع سياسة الحد الأدنى من الأذونات الموثقة (...) للفرق التي توحد الهوية، يدعم File Mover Express تسجيل الدخول الموحد (SSO) عبر OpenID Connect (OIDC).
تحسب File Mover Express المجاميع الاختبارية (checksums) في الخلفية وتخزنها مؤقتًا محليًا لإعادة استخدامها عندما تظل الملفات دون تغيير. تدعم MD5 و XXHash و XXHash64 و XXH3، مما يوفر خيارًا بين التوافق وأداء التجزئة. لعمليات النقل إلى المجموعات البعيدة، يمكن للمستخدمين تمكين S3 Transfer Acceleration، بينما تساعد حدود النطاق الترددي في التحكم في استخدام الشبكة. على LinkedIn، يكتب ديكسون:
يجب ألا يكون نقل ملفات الوسائط الكبيرة إلى السحابة هو الجزء البطيء من يومك :) لهذا السبب قمنا نحن في AWS ببناء File Mover Express (...) لأي شخص في مجال الإعلام ينقل بطاقات الكاميرا، أو المواد اليومية، أو التسليمات، فإنه يعالج المشكلة المعتادة.
ما هي التقنيات المستخدمة في بناء File Mover Express؟
يتوفر الكود المصدري للمشروع على GitHub، بالإضافة إلى حزم جاهزة لأنظمة macOS وويندوز ولينكس.
جرّب الأداة: مولد التجزئة والتحقق من سلامة الملفات
