مزامنة الشفاه بالذكاء الاصطناعي: كيف يتغير الفم مع صوت جديد؟

تشاهد شرحاً مترجماً في فيديو: تسمع الجملة بالعربية بينما يبدو أن فم المتحدث يقولها أيضاً، مع أنه سجل كلامه بلغة أخرى. هذه المطابقة قد تكون نتيجة تعديل حاسوبي للصور، لا دليلاً على أنه نطق العربية أمام الكاميرا. وهنا تكمن فائدة مزامنة الشفاه وخطورتها معاً: تسهيل مشاهدة محتوى بلغة جديدة، وإمكان إسناد كلام إلى شخص لم يقله.

كيف يصل الصوت إلى الفم؟

يبدأ أحد الأساليب بفيديو يظهر فيه وجه المتحدث وتسجيل الصوت المطلوب. أثناء إعداد النظام، تعرض عليه أمثلة تجمع مقاطع الكلام مع صور وجوه تتحدث، ثم تُعدَّل حساباته ليقترب شكل الفم المولد من الصوت في توقيته. بعد ذلك يستقبل التسجيل الجديد وصور الفيديو، ويولد صوراً متتابعة يظهر فيها الفم وهو يفتح ويغلق بما يناسب أجزاء الكلام. تُجمع الصور في فيديو مع الصوت الجديد.

ليس كل صوت يقابله وضع فم واحد يمكن قراءته منفرداً. قد تتشابه أشكال الشفاه لأصوات مختلفة، وقد تختلف الحركة باختلاف الأصوات المجاورة وسرعة الكلام. لذلك تستفيد الأنظمة من أجزاء متجاورة من الصوت والصورة، لا من تبديل شكل ثابت لكل حرف مكتوب. في ورقة Wav2Lip، مثلاً، دُرِّب نظام مخصوص على أن ينسجم شكل الفم المولد مع الصوت حتى في فيديوهات تتغير فيها وضعية الوجه والإضاءة؛ هذه طريقة موثقة، وليست وصفاً لكل منتج.

توجد طرق أخرى قد تغير مناطق أوسع من الوجه أو تستخدم تمثيلاً ثلاثي الأبعاد لحركته. ورقة Neural Voice Puppetry تعرض مثالاً يستخدم الصوت لتوليد حركة الوجه في الفيديو، لا الشفتين وحدهما. لذلك عبارة «يستبدل الفم فقط» مضللة إذا قُدمت كقاعدة عامة. ما يشترك فيه النهجان هو وجود صوت مدخل وصور وجه تُعدَّل أو تُولد لتبدو متوافقة معه.

الدبلجة لا تحافظ على المعنى وحدها

إذا تُرجم مقطع تعليمي، يحتاج المنتج أولاً إلى ترجمة الكلام وتسجيل صوت باللغة الجديدة. مزامنة الشفاه تتعامل مع توافق الصورة والصوت الناتج؛ لا تضمن صحة الترجمة ولا أمانة السياق. قد تبدو الجملة الجديدة طبيعية على الوجه رغم أن النص المترجم أسقط تحفظاً مهماً أو غيّر المقصود. ولذلك يفيد ذكر أن الفيديو مدبلج، وإتاحة التسجيل الأصلي أو النص حين يكون المعنى مهماً. ولهذا قد يحتاج المشاهد إلى الرجوع إلى الكلمات الأصلية إذا كان المقطع يتعلق بتعهد أو خبر أو تعليمات مهمة، مهما بدت حركة الفم مقنعة.

تختلف جودة النتيجة بحسب وضع الرأس والإضاءة وجودة الصوت والصورة وطريقة التوليد. قد يظهر اضطراب حول الفم أو الأسنان في بعض المقاطع، وقد لا يظهر شيء واضح في مقاطع أخرى. كما أن عدم تزامن الصوت والصورة قد ينتج من تأخر البث أو تحرير الفيديو العادي. ملاحظة الفم مفيدة للسؤال، لكنها لا تصلح لاختبار يثبت التزييف أو ينفيه.

إذا بدا التصريح غريباً

تخيل مقطعاً قصيراً ينسب إلى مسؤول أو قريب لك طلباً مالياً غير مألوف. الأهم من مراقبة الأسنان أن تتحقق من الكلام عبر قناة مستقلة تعرفها مسبقاً: ابحث عن التسجيل الكامل لدى الناشر الأصلي، أو اتصل بالشخص أو الجهة برقم محفوظ لديك، لا برقم داخل المقطع. هذا يبقى مفيداً حتى إن كانت حركة الشفاه متقنة، وحتى إن كان الفيديو حقيقياً لكنه مقتطع من سياقه.

في استخدام مشروع، ينبغي أن يعرف المشاهد أن الوجه عُدِّل ليتوافق مع صوت مدبلج، وأن تُراعى موافقة صاحب الصورة ومتطلبات النشر التي تنطبق على العمل. وجود تقنية قادرة على تنفيذ التعديل لا يمنح تلقائياً حق استخدام صورة أي شخص. وتختلف قواعد الموافقة والتصريح باختلاف البلد والعقد والمنصة؛ لذا لا يكفي افتراض قاعدة قانونية واحدة للجميع.

ما تفعله مزامنة الشفاه واضح إذا فصلنا الخطوات: صوت جديد يدخل، وصور الوجه تتغير لتلائمه، وفيديو متزامن يخرج. ما لا تخبرنا به الصورة وحدها هو من اختار الكلمات، وهل وافق المتحدث عليها، وهل نُقل معنى كلامه الأصلي بأمانة.