يشير المصطلح إلى أن الكلمة موجودة ولكن المطابقة غير ناجحة؟ تحقق من تمثيل Unicode أولاً

هذه الكلمة موجودة بوضوح في المعجم، لكن البرنامج يقول أنه لم يتم العثور على أي نتيجة. اطبع السلسلة ولاحظ أن كلا الجانبين يبدوان متماثلين تمامًا. يعد هذا النوع من المشكلات شائعًا في سيناريوهات الترجمة المجمعة واسترجاع المصطلحات ومقارنة المستندات. غالبًا لا يكون السبب في الترجمة نفسها، ولكن في تمثيل Unicode: يمكن أن يكون الحرف المميز إما نقطة رمز واحدة أو يتكون من أحرف أساسية بالإضافة إلى رموز مجمعة.

تستخدم هذه المقالة عينات تركيبية لتوضيح طريقة المعالجة لمساعدتك في العثور على مصدر الاختلاف أولاً، ثم تحديد كيفية تسوية البيانات وحفظها.

تم فحص الكود بأمثلة في بيئة معزولة، وهذا لا يمثل ضمانًا لجميع الملفات الحقيقية أو أداء المنتج. قبل معالجة المستندات المهمة، يرجى الاحتفاظ بالنسخ الأصلية ومراجعتها وفقًا للحدود وبنود القبول في النص.

ماذا علي أن أفعل إذا فشلت مطابقة المصطلح؟ استنتاج جملة واحدة

حدد أولاً ما إذا كان اختلاف التمثيل أو اختلاف المحتوى: يمكن محاذاة اختلافات التمثيل من خلال التسوية مثل NFC، بينما تحتاج اختلافات المحتوى إلى المعالجة مرة أخرى إلى المصطلح نفسه.

تأكد أولاً مما إذا كان يمثل اختلافًا أم اختلافًا في المحتوى.

قم بإجراء تسوية NFC قبل المقارنة، وغالبًا ما يتم استخدامها لمحاذاة التمثيلات المتكافئة بشكل قانوني. يتمتع NFKC بنطاق أوسع وسيؤدي إلى انهيار بعض الشخصيات المتوافقة. قد يلبي هذا احتياجات البحث، ولكن ليس بالضرورة احتياجات الحفاظ على الأرشيف أو مقارنة الرموز الفنية.

لا تخلط بين عبارة "أسهل في المطابقة" و"يجب أن تظل الدلالات دون تغيير".

في المثال الاصطناعي، يجب أن تكون طريقتا كتابة é متسقتين بعد NFC؛ تُستخدم الأحرف ذات العرض الكامل والأحرف المرتفعة لإظهار التغييرات التي سيجلبها NFKC. إنها مجرد أمثلة محددة ولا تعني أن جميع المشاريع يجب أن تعتمد شكلاً معينًا.

استخدم الكود لمعرفة الاختلافات التي لم تراها من قبل.

import unicodedata as ud

composed = "café"
decomposed = "cafe\u0301"
assert composed != decomposed
assert ud.normalize("NFC", composed) == ud.normalize("NFC", decomposed)

fullwidth = "ＡＢＣ"
assert ud.normalize("NFC", fullwidth) == fullwidth
assert ud.normalize("NFKC", fullwidth) == "ABC"
assert ud.normalize("NFKC", "x²") == "x2"

def term_key(text):
    return ud.normalize("NFC", text).casefold()

assert term_key("CAFÉ") == term_key(decomposed)
assert term_key("x²") != term_key("x2")
print([f"U+{ord(c):04X}" for c in decomposed])

يحدد المثال NFC بالإضافة إلى casefold لمطابقة المصطلح، وهي استراتيجية مطابقة محدودة عمدًا. ينتج casefold أيضًا نتائج قابلة للطي تعتمد على اللغة، لذلك ليس من المناسب استبدال كل النص الأصلي بالمفاتيح التي تم إنشاؤها.

يتم تخزين النص الأصلي والمفاتيح المطابقة بشكل منفصل.

احتفظ بـ original_text وأنشئ normalized_key آخر. يتم استخدام الأول للعرض والتتبع والمراجعة، ويستخدم الأخير للاسترجاع في ظل الإستراتيجية الحالية.

قم أيضًا بتسجيل اسم السياسة وإصدارها. في المستقبل، عند استخدام قواعد أخرى، يمكن إعادة بناء الفهرس وفقًا لذلك، بدلاً من اكتشاف أن النص الأصلي قد تمت الكتابة فوقه بشكل لا رجعة فيه.

التطبيع لا يحل كل "الشكل المتشابه"

قد لا يكون للحروف اللاتينية ذات الأشكال المتشابهة علاقة معادلة أو موحدة مع الحروف في الخطوط الأخرى. الأحرف ذات العرض الصفري، والمساحات المختلفة، والتعرف على الحروف كأرقام عبر OCR كلها تتطلب تشخيصات فردية.

عند التعامل مع سيناريوهات حساسة للأمن مثل الحسابات أو معرفات الملفات، يرجى عدم اعتبار أمثلة مطابقة المصطلحات في هذا المقال حماية كاملة للحروف مربكة.

يجب التعامل مع تتبع الموقع بشكل منفصل

بعد التطبيع، قد يتغير طول الوتر. استخدام إزاحة الحروف في مفتاح المطابقة لقص النص الأصلي قد يؤدي إلى قطع خاطئ في النطاق.

عند الحاجة إلى تمييز أو كتابة خلفية، يجب الحفاظ على الربط بين مقطع النص الأصلي والمفتاح المطابق، أو إعادة توطينه إلى مستوى النص الأصلي.

قبل تسليم الأسئلة للمترجمين، احتفظ بالأدلة أولا

عند تقييم مصطلحات OmniDoc وسير عمل الترجمة، يمكنك إعداد تمثيلين لنفس المصطلح في يونيكود، مع تسجيل النص الأصلي، والاستراتيجية المستخدمة، والترجمة.

بهذه الطريقة، عندما يتم اكتشاف التناقضات، يمكنك التمييز بين ما إذا كانت المشكلة تكمن في مطابقة المدخلات أو اختيار الترجمة، متجنبا إلقاء اللوم على نموذج الترجمة بكل الاختلافات.

📊 مقارنة النواة

🎯 أي طريقة تناسبك؟

إذا كنت بحاجة للتحقق مما إذا كانت الوترتان متطابقاتين

أولا، قم بتطبيع NFC، ثم المقارنة. هذه هي نقطة البداية لفحص الفروقات لتمثيل الاختلافات.

إذا كنت تقوم ببحث أو بحث عن مصطلحات

يمكنك إنشاء normalized_key وتسجيل اسم السياسة والإصدار، مع الحفاظ على النص الأصلي دون تغيير.

إذا كنت بحاجة للاحتفاظ بالنص الأصلي للعرض أو المراجعة

احتفظ ب original_text، ولا تقم بالكتابة فوقه بمفتاح مطابقة.

إذا كنت تتعامل مع الأرشيفات أو الرموز التقنية أو المحتوى الحساس للأمن

أولا، قيم ما إذا كان NFKC مناسبا، وتحقق بشكل منفصل من الأحرف ذات العرض الصفري، والأحرف المتشابهة، وغيرها من القضايا. لا تعامل التطبيع كحماية كاملة.

❓ الأسئلة الشائعة (الأسئلة الشائعة)

1. الوتران يبدوان متشابهين، فلماذا لا يتطابقون؟

قد يكون نفس الحرف المميز يستخدم تمثيلين: نقطة رمز واحدة، أو حرف أساسي بالإضافة إلى رمز تركيب. مقارنة بتطبيع NFC، يمكنك محاذاتها.

2. هل يمكن استخدام NFKC مباشرة لتوحيد جميع الشخصيات؟

ليس بالضرورة. NFKC يطوي الأحرف المتوافقة وقد لا يلبي احتياجات الأرشفة الأرشيفية أو مقارنة الرموز التقنية؛ يجب أن يكون التقييم مبنيا على متطلبات الأعمال.

3. بعد التطبيع، هل يمكنك تمييز النص الأصلي مباشرة عن طريق إزاحة الحروف؟

لا يمكن استخدامه مباشرة. بعد التطبيع، قد يتغير الطول، لذا من الضروري الاحتفاظ بتعيينات الأجزاء أو إعادة وضعها في النص الأصلي.

4. هل يمكن للتطبيع أن يتعرف على جميع الشخصيات ذات المظاهر المتشابهة؟

لا. قد لا يكون للأحرف ذات المظهر المتشابه تكافؤ موحد أو توافق؛ كما تتطلب الأحرف ذات العرض الصفري، والفراغات، وأخطاء التعرف الضوئي على الحروف الشفافية تشخيصا منفصلا.

📝 ملخص

عندما تفشل مطابقة المصطلحات، تأكد أولا مما إذا كان يونيكود يمثل الفرق أم الفرق في المحتوى، ثم اختر استراتيجية تطبيع واضحة. يتم تخزين النص الأصلي ومفاتيح المطابقة بشكل منفصل لتحقيق التوازن بين فعالية الاسترجاع وسهولة التتبع.

المراجع: Python unicodedata

اختبر الآن: ارفع مستندك لتبدأ الترجمة، مع الحفاظ على التنسيق الأصلي