قياس تفريغ الكلام العربي

نتائج النماذج على تسجيلات السدو

قارنّا ثلاثة نماذج مع نصين صححهما إنسان، باستخدام نطاقين محددين من التسجيلين. معدل خطأ الكلمات الأقل يعني تفريغًا أقرب إلى النص المرجعي في هذه العينة.

الإمارات

تسجيل الحرفية الإماراتية

نطاق القياس: 00:43–03:05. المرجع البشري 267 كلمة بعد تطبيع الكتابة العربية.

النموذجWER · خطأ الكلماتCER · خطأ الحروف
ElevenLabs Scribe v211.61%2.97%
Cohere Arabic 07-202614.98%4.95%
fal-ai/whisper40.45%20.68%

المرجع: تفريغ بشري مستقل. عُدّت الكلمات بعد إزالة التشكيل وتوحيد الألف وعلامات الترقيم، مع الحفاظ على مفردات اللهجة. النتيجة تخص هذا المقطع فقط.

الأحساء

حديث حرفة السدو في الأحساء

نطاق القياس: 02:39–15:00. المرجع البشري 1352 كلمة بعد تطبيع الكتابة العربية.

النموذجWER · خطأ الكلماتCER · خطأ الحروف
Cohere Arabic 07-202618.79%8.74%
ElevenLabs Scribe v226.41%9.30%
fal-ai/whisper42.53%19.98%

المرجع: تفريغ بشري مستقل. عُدّت الكلمات بعد إزالة التشكيل وتوحيد الألف وعلامات الترقيم، مع الحفاظ على مفردات اللهجة. النتيجة تخص هذا المقطع فقط.

قراءة النتيجة

تصدر Scribe v2 مقطع الإمارات، وتصدر Cohere مقطع الأحساء. عند جمع أخطاء الكلمات على المقطعين، حصل Cohere على 18.16%، وScribe v2 على 23.97%، وWhisper على 42.19%. يهيمن مقطع الأحساء الأطول على الرقم المجمّع؛ لذلك تظهر النتائج المنفصلة أعلاه أولًا.

مرجع الأحساء يتضمن ترددات الكلام وتصحيحات بشرية، والقياس لا يشمل سوى تسجيلين. لا تعني هذه النتائج ضمان الأداء على متحدثين أو تسجيلات أخرى.

تجربة نقل المصطلحات · مجموعة واحدة في كل مرة

هل تساعد مصطلحات السدو عبر اللهجات؟

استُخدمت سبعة مصطلحات من كل لهجة على حدة، ثم جُمعت مصطلحات نجد والأحساء على تسجيل الإمارات. يستقبل Scribe v2 المصطلحات داخل واجهة التعرف على الكلام. أما Cohere Arabic المفتوح الأوزان فلا تقبل واجهته مصطلحات؛ عُرضت نتائجه هنا بعد تصحيح معجمي محافظ للنص الناتج، من دون تغيير النموذج نفسه.

الإمارات

النموذج / الطريقةمصدر المصطلحاتWERCERالتغير عن النموذج دون مصطلحات
Cohere Arabicدون مصطلحات14.98%4.95%
Cohere Arabic + تصحيح معجميمصطلحات نجد14.98%4.95%0.00 نقطة
Cohere Arabic + تصحيح معجميمصطلحات الأحساء14.98%4.95%0.00 نقطة
Cohere Arabic + تصحيح معجميمصطلحات الإمارات · من العينة نفسها14.98%4.95%0.00 نقطة
Cohere Arabic + تصحيح معجمينجد + الأحساء14.98%4.95%0.00 نقطة
Scribe v2دون مصطلحات11.61%2.97%
Scribe v2مصطلحات نجد13.86%4.14%+2.25 نقطة
Scribe v2مصطلحات الأحساء14.61%4.41%+3.00 نقطة
Scribe v2مصطلحات الإمارات · من العينة نفسها14.23%3.69%+2.62 نقطة
Scribe v2نجد + الأحساء13.48%4.05%+1.87 نقطة

الأحساء

النموذج / الطريقةمصدر المصطلحاتWERCERالتغير عن النموذج دون مصطلحات
Cohere Arabicدون مصطلحات18.79%8.74%
Cohere Arabic + تصحيح معجميمصطلحات نجد18.71%8.75%-0.08 نقطة
Cohere Arabic + تصحيح معجميمصطلحات الأحساء · من العينة نفسها17.90%8.56%-0.89 نقطة
Cohere Arabic + تصحيح معجميمصطلحات الإمارات18.57%8.72%-0.22 نقطة
Scribe v2دون مصطلحات26.41%9.30%
Scribe v2مصطلحات نجد26.63%9.35%+0.22 نقطة
Scribe v2مصطلحات الأحساء · من العينة نفسها26.48%9.32%+0.07 نقطة
Scribe v2مصطلحات الإمارات26.70%9.33%+0.29 نقطة

نجد · ثمانية مقاطع محجوبة

النموذج / الطريقةمصدر المصطلحاتWERCERالتغير عن النموذج دون مصطلحات
Cohere Arabicدون مصطلحات22.29%9.14%
Cohere Arabic + تصحيح معجميمصطلحات الأحساء22.29%9.14%0.00 نقطة
Cohere Arabic + تصحيح معجميمصطلحات الإمارات22.29%9.14%0.00 نقطة
Scribe v2دون مصطلحات16.95%6.65%
Scribe v2مصطلحات نجد · من العينة نفسها14.86%5.93%-2.09 نقطة
Scribe v2مصطلحات الأحساء16.57%6.52%-0.38 نقطة
Scribe v2مصطلحات الإمارات17.33%7.06%+0.38 نقطة

القيمة السالبة في عمود التغير تحسن. مصطلحات اللهجة المشتقة من المرجع نفسه تجربة استكشافية؛ لا تُستخدم دليلاً على أداء تسجيل جديد. مرجع نجد تعديل بشري سابق لمخرج ElevenLabs، لذا يُقرأ بحذر.

نتيجة سابقة · تسجيل نجدي مختلف

المقارنة التجريبية المتاحة

هذه أرقام القياس على ثمانية مقاطع محجوبة من شرح نجدي للسدو. هي مرجع تجريبي لطريقة التقييم، وليست نتيجة لتسجيلي الإمارات والأحساء.

النموذجمعدل خطأ الكلمات WERمعدل خطأ الحروف CERفاصل الثقة 95% لـ WER
ElevenLabs Scribe v2 + 7 مصطلحات14.86%5.93%13.08–16.70%
ElevenLabs Scribe v216.95%6.65%15.72–18.18%
Cohere Arabic 07-202622.29%9.14%16.84–26.60%
fal-ai/whisper56.38%41.96%39.25–73.23%
fal-ai/cohere-transcribe72.95%58.40%62.24–81.41%

المرجع النجدي تعديل بشري سابق لنص ElevenLabs، لذا قد يميل القياس لصالحه. جميع النماذج المعروضة غطت المقاطع الثمانية. العودة للرئيسية