¿El término indica que la palabra existe pero la coincidencia falla? Primero verifique la representación Unicode

Esta palabra está claramente en el glosario, pero el programa dice que no hay acierto. Imprime la cuerda y observa que ambos lados parecen ser exactamente iguales. Este tipo de problema es común en escenarios de traducción por lotes, recuperación de términos y comparación de documentos. La razón a menudo no está en la traducción en sí, sino en la representación Unicode: un carácter acentuado puede ser un único punto de código o estar compuesto por letras básicas más una combinación de símbolos.

Este artículo utiliza muestras sintéticas para demostrar el método de procesamiento para ayudarlo a encontrar primero el origen de la diferencia y luego decidir cómo normalizar y guardar los datos.

El código ha sido verificado con ejemplos en un entorno aislado, esto no representa una garantía de todos los archivos reales ni del rendimiento del producto. Antes de procesar documentos importantes, conserve los originales y revíselos de acuerdo con los límites y elementos de aceptación del texto.

¿Qué debo hacer si falla la coincidencia de términos? Conclusión de una frase

Primero determine si se trata de una diferencia de representación o una diferencia de contenido: las diferencias de representación se pueden alinear mediante normalización como NFC, mientras que las diferencias de contenido deben procesarse hasta el término mismo.

Primero confirme si representa una diferencia o una diferencia de contenido.

Realice la normalización NFC antes de la comparación, que a menudo se utiliza para alinear representaciones canónicamente equivalentes. NFKC tiene un alcance más amplio y colapsará algunos personajes compatibles. Esto puede satisfacer las necesidades de búsqueda, pero no necesariamente las necesidades de preservación de archivos o comparación de símbolos técnicos.

No confunda "más fácil de hacer coincidir" con "la semántica debe permanecer sin cambios".

En el ejemplo sintético, las dos formas de escribir é deberían ser consistentes después de NFC; Se utilizan letras de ancho completo y caracteres de superíndice para mostrar los cambios que traerá NFKC. Son sólo ejemplos específicos y no significan que todos los proyectos deban adoptar una forma determinada.

Usa código para ver las diferencias que no viste antes.

import unicodedata as ud

composed = "café"
decomposed = "cafe\u0301"
assert composed != decomposed
assert ud.normalize("NFC", composed) == ud.normalize("NFC", decomposed)

fullwidth = "ＡＢＣ"
assert ud.normalize("NFC", fullwidth) == fullwidth
assert ud.normalize("NFKC", fullwidth) == "ABC"
assert ud.normalize("NFKC", "x²") == "x2"

def term_key(text):
    return ud.normalize("NFC", text).casefold()

assert term_key("CAFÉ") == term_key(decomposed)
assert term_key("x²") != term_key("x2")
print([f"U+{ord(c):04X}" for c in decomposed])

En el ejemplo se selecciona NFC más casefold para la coincidencia de términos, que es una estrategia de coincidencia intencionadamente limitada. casefold también produce resultados de plegado que dependen del idioma, por lo que no es conveniente simplemente reemplazar todo el texto original con las claves generadas.

El texto original y las claves coincidentes se almacenan por separado.

Mantenga original_text y cree otro normalized_key. El primero se utiliza para visualización, seguimiento y revisión, y el segundo se utiliza para recuperación según la estrategia actual.

Registre también el nombre y la versión de la política. En el futuro, cuando se utilicen otras reglas, el índice se podrá reconstruir en consecuencia, en lugar de encontrar que el texto original se ha sobrescrito irreversiblemente.

La normalización no soluciona que todos "lucen iguales"

Puede que no exista una relación de equivalencia estandarizada o compatible entre las letras latinas y los caracteres de otras escrituras que tengan apariencia similar. Los caracteres de ancho cero, los diferentes espacios y el OCR que reconoce letras como números deben diagnosticarse por separado.

Cuando se trata de escenarios sensibles a la seguridad, como cuentas e identificadores de archivos, no considere los ejemplos de coincidencia de términos de este artículo como una protección completa de caracteres ofuscados.

El rastreo de posición debe manejarse por separado

La longitud de la cadena puede cambiar después de la normalización. Usar el desplazamiento de caracteres en la clave coincidente para recortar el texto original puede cortar el rango incorrecto.

Cuando sea necesario resaltar o volver a escribir, la asignación entre los fragmentos de texto originales y las claves coincidentes debe conservarse o reposicionarse en el nivel del texto original.

Guarde la evidencia antes de enviar la pregunta al traductor.

Al evaluar la terminología y el flujo de trabajo de traducción de OmniDoc, puede preparar dos representaciones Unicode del mismo término, documentando el texto fuente, la estrategia utilizada y la traducción.

De esta manera, cuando se encuentran inconsistencias, se puede distinguir si el problema radica en la coincidencia de entradas o en la selección de traducción, y evitar culpar de todas las diferencias al modelo de traducción.

📊 Comparación central

🎯 ¿Qué método es el adecuado para ti?

Si necesita determinar si dos cadenas son iguales

Realice primero la normalización NFC y luego compare. Este es el punto de partida para examinar las diferencias de representación.

Si estás haciendo una búsqueda o búsqueda de términos

Se puede crear normalized_key y registrar el nombre y la versión de la política, mientras que el texto original permanece sin cambios.

Si necesita conservar el texto original para mostrarlo o revisarlo

Conserve original_text, no lo sobrescriba con una clave coincidente.

Si se trata de archivos, símbolos técnicos o contenido sensible a la seguridad

Primero evalúe si NFKC es apropiado y solucione problemas por separado, como caracteres de ancho cero y caracteres similares. No considere la normalización como una protección completa.

❓ Preguntas frecuentes (FAQ)

1. Las dos cadenas parecen iguales, ¿por qué no pueden coincidir?

Es posible que el mismo carácter acentuado se represente de dos maneras: como un único punto de código o como una letra base más un símbolo combinado. Hacer la normalización NFC antes de la comparación puede alinearlos.

2. ¿Puedes usar NFKC directamente para unificar todos los personajes?

incierto. NFKC colapsará los caracteres compatibles, que pueden no satisfacer las necesidades de preservación de archivos o comparación de símbolos técnicos, y deben evaluarse de acuerdo con las necesidades comerciales.

3. Después de la normalización, ¿puedo usar directamente el desplazamiento de caracteres para resaltar el texto original?

No se puede utilizar directamente. La longitud puede cambiar después de la normalización, lo que requiere conservar o reposicionar el mapeo de fragmentos en el nivel del texto original.

4. ¿Puede la normalización reconocer todos los personajes con apariencia similar?

no puedo. Es posible que los personajes con apariencia similar no tengan equivalencia canónica o compatible, y los caracteres de ancho cero, los espacios y los errores de OCR también deben diagnosticarse por separado.

📝 Resumen

Cuando falla una coincidencia de términos, primero confirme si la diferencia es una representación Unicode o una diferencia de contenido antes de elegir una estrategia de normalización explícita. Solo cuando el texto original y las claves coincidentes se guardan por separado se puede tener en cuenta el efecto de recuperación y la trazabilidad.

Referencias: Python unicodedata

Pruébelo ahora: cargue el documento para comenzar la traducción, conservando el diseño original