OmniDocDer Begriff zeigt an, dass das Wort existiert, die Übereinstimmung jedoch fehlschlägt? Überprüfen Sie zunächst die Unicode-Darstellung
Dieses Wort steht eindeutig im Glossar, aber das Programm sagt, dass es keinen Treffer gibt. Drucken Sie die Zeichenfolge aus und sehen Sie, dass beide Seiten genau gleich zu sein scheinen. Der Grund liegt möglicherweise nicht in der Übersetzung, sondern in der Unicode-Darstellung: Ein Zeichen mit Akzent kann entweder ein einzelner Codepunkt oder ein Basisbuchstabe plus ein Kombinationssymbol sein.
– Die NFC-Normalisierung vor dem Vergleich kann die kanonische Äquivalentdarstellung ausrichten, während NFKC einen größeren Anwendungsbereich hat und möglicherweise die Semantik ändert und entsprechend den Anforderungen bewertet werden muss.
- Der passende Schlüssel sollte getrennt vom Originaltext gespeichert werden. Der Originaltext sollte zur Anzeige und Überprüfung aufbewahrt werden, und der Name und die Version der Richtlinie sollten für eine zukünftige Indexrekonstruktion aufgezeichnet werden.
- Die Zeichenlänge kann sich nach der Normalisierung ändern und das Ausschneiden des Originaltextes mit passendem Schlüsseloffset kann zu Fehlern führen. Die ursprüngliche Textfragmentzuordnung muss beibehalten oder auf der ursprünglichen Textebene neu positioniert werden.
- Normalisierung kann nicht alle Probleme lösen, die ähnlich aussehen. Verschleierte Zeichen und Zeichen mit der Breite Null müssen separat diagnostiziert werden, und die Beispiele stellen keinen vollständigen Sicherheitsschutz dar.
Dieses Wort steht eindeutig im Glossar, aber das Programm sagt, dass es keinen Treffer gibt. Drucken Sie die Zeichenfolge aus und sehen Sie, dass beide Seiten genau gleich zu sein scheinen. Diese Art von Problem tritt häufig bei Stapelübersetzungen, beim Abrufen von Begriffen und beim Dokumentvergleich auf. Der Grund liegt oft nicht in der Übersetzung selbst, sondern in der Unicode-Darstellung: Ein Zeichen mit Akzent kann entweder ein einzelner Codepunkt sein oder aus einfachen Buchstaben und Kombinationssymbolen bestehen.
In diesem Artikel werden synthetische Beispiele verwendet, um die Verarbeitungsmethode zu demonstrieren, damit Sie zunächst die Ursache des Unterschieds ermitteln und dann entscheiden können, wie die Daten normalisiert und gespeichert werden.
Der Code wurde anhand von Beispielen in einer isolierten Umgebung überprüft. Dies stellt keine Garantie für alle echten Dateien oder die Produktleistung dar. Bevor Sie wichtige Dokumente bearbeiten, bewahren Sie bitte die Originale auf und überprüfen Sie sie anhand der Grenzen und Akzeptanzpunkte im Text.
Was soll ich tun, wenn der Begriffsabgleich fehlschlägt? Fazit in einem Satz
Stellen Sie zunächst fest, ob es sich um einen Darstellungsunterschied oder einen Inhaltsunterschied handelt: Darstellungsunterschiede können durch Normalisierung wie NFC ausgeglichen werden, während Inhaltsunterschiede auf den Begriff selbst zurückgeführt werden müssen.
| Ihre Situation | Empfohlene Praktiken | Grund |
|---|---|---|
| Die Zeichenfolgen sehen gleich aus, aber die Übereinstimmung schlägt fehl | Führen Sie vor dem Vergleich eine NFC-Normalisierung durch | NFC wird häufig verwendet, um kanonisch äquivalente Darstellungen auszurichten |
| Es sind umfassendere Suchübereinstimmungen erforderlich, z. B. in voller Breite und in halber Breite | Werten Sie NFKC aus, aber überschreiben Sie nicht den Originaltext | NFKC hat einen größeren Anwendungsbereich, reduziert kompatible Zeichen und ist möglicherweise nicht unbedingt für Archiv- oder technische Symbole geeignet. |
| Inkonsistenter Fall | Erstellen Sie Übereinstimmungsschlüssel ohne Berücksichtigung der Groß- und Kleinschreibung | casefold kann für den Vergleich ohne Berücksichtigung der Groß-/Kleinschreibung verwendet werden |
| Der ursprüngliche Text muss hervorgehoben oder zurückgeschrieben werden | Behalten Sie die ursprüngliche Textfragmentzuordnung bei oder positionieren Sie sie auf der ursprünglichen Textebene neu | Die Länge kann sich nach der Normalisierung ändern, und die direkte Verwendung von Offset führt zum Ausschneiden des falschen Bereichs. |
Bestätigen Sie zunächst, ob es sich um einen Unterschied oder einen inhaltlichen Unterschied handelt.
Führen Sie vor dem Vergleich eine NFC-Normalisierung durch, die häufig zum Ausrichten kanonisch äquivalenter Darstellungen verwendet wird. NFKC hat einen größeren Umfang und wird einige kompatible Charaktere ausblenden. Dies mag Suchanforderungen erfüllen, aber nicht unbedingt Anforderungen an die Archivierung oder den Vergleich technischer Symbole.
Verwechseln Sie „einfacher zuzuordnen"nicht mit „die Semantik muss unverändert bleiben".
Im synthetischen Beispiel sollten die beiden Schreibweisen voné nach NFC konsistent sein; Buchstaben in voller Breite und hochgestellte Zeichen werden verwendet, um die Änderungen anzuzeigen, die NFKC mit sich bringen wird. Es handelt sich lediglich um konkrete Beispiele und bedeutet nicht, dass alle Projekte eine bestimmte Form annehmen sollten.
Verwenden Sie Code, um die Unterschiede zu erkennen, die Sie vorher nicht gesehen haben.
import unicodedata as ud
composed = "café"
decomposed = "cafe\u0301"
assert composed != decomposed
assert ud.normalize("NFC", composed) == ud.normalize("NFC", decomposed)
fullwidth = "ＡＢＣ"
assert ud.normalize("NFC", fullwidth) == fullwidth
assert ud.normalize("NFKC", fullwidth) == "ABC"
assert ud.normalize("NFKC", "x²") == "x2"
def term_key(text):
return ud.normalize("NFC", text).casefold()
assert term_key("CAFÉ") == term_key(decomposed)
assert term_key("x²") != term_key("x2")
print([f"U+{ord(c):04X}" for c in decomposed])Das Beispiel wählt NFC plus casefold für den Begriffsabgleich aus, wobei es sich um eine absichtlich eingeschränkte Abgleichsstrategie handelt. casefold erzeugt auch sprachabhängige Faltergebnisse, sodass es nicht praktisch ist, einfach den gesamten Originaltext durch die generierten Schlüssel zu ersetzen.
Der Originaltext und die passenden Schlüssel werden separat gespeichert.
Behalten Sie original_text bei und erstellen Sie ein weiteres normalized_key. Ersteres wird zur Anzeige, Nachverfolgung und Überprüfung verwendet, und letzteres wird im Rahmen der aktuellen Strategie zum Abrufen verwendet.
Notieren Sie außerdem den Namen und die Version der Richtlinie. Wenn in Zukunft andere Regeln verwendet werden, kann der Index entsprechend neu erstellt werden, anstatt festzustellen, dass der Originaltext irreversibel überschrieben wurde.
| beobachten | Aktionen zum Ausprobieren | Dinge, die man nicht nebenbei tun sollte |
|---|---|---|
| Kombinationsstressunterschied | Verfolgen Sie eine klare Strategie für NFC | Die Behauptung, dass die Anzahl der Charaktere zähle, spielt keine Rolle mehr |
| Unterschied in voller Breite und halber Breite | Bewerten Sie NFKC anhand der Geschäftsanforderungen | Decken Sie den Originaltext technischer Dokumente direkt ab |
| Fallunterschied | Erstellen Sie übereinstimmende Schlüssel ohne Berücksichtigung der Groß- und Kleinschreibung | Machen Sie den Anzeigetext ausschließlich in Kleinbuchstaben |
| Immer noch nicht getroffen | Codepunkte mit tatsächlichem Kontext anzeigen | Überlagern und ersetzen Sie kontinuierlich Regeln, um Ihr Glück zu versuchen |
Normalisierung löst nicht alle Probleme, die gleich aussehen.
Möglicherweise besteht keine standardisierte oder kompatible Äquivalenzbeziehung zwischen lateinischen Buchstaben und Zeichen in anderen Schriften, die ein ähnliches Erscheinungsbild haben. Zeichen mit der Breite Null, unterschiedliche Leerzeichen und OCR, die Buchstaben als Zahlen erkennt, müssen alle separat diagnostiziert werden.
Wenn es um sicherheitsrelevante Szenarien wie Konten und Dateikennungen geht, betrachten Sie die Begriffsvergleichsbeispiele in diesem Artikel bitte nicht als vollständig verschleierten Zeichenschutz.
Die Positionsverfolgung muss separat behandelt werden
Die Stringlänge kann sich nach der Normalisierung ändern. Wenn Sie den Zeichenversatz im passenden Schlüssel zum Zuschneiden des Originaltexts verwenden, wird möglicherweise der falsche Bereich abgeschnitten.
Wenn eine Hervorhebung oder ein Zurückschreiben erforderlich ist, sollte die Zuordnung zwischen Originaltextfragmenten und passenden Schlüsseln beibehalten oder auf der Originaltextebene neu positioniert werden.
Bewahren Sie die Beweise auf, bevor Sie die Frage an den Übersetzer senden
Bei der Bewertung des Terminologie- und Übersetzungsworkflows von OmniDoc können Sie zwei Unicode-Darstellungen desselben Begriffs vorbereiten und dabei den Quelltext, die verwendete Strategie und die Übersetzung dokumentieren.
Auf diese Weise kann bei festgestellten Inkonsistenzen unterschieden werden, ob das Problem im Eingabeabgleich oder in der Übersetzungsauswahl liegt, und es kann vermieden werden, alle Unterschiede dem Übersetzungsmodell zuzuschreiben.
📊 Kernvergleich
| Strategie | Hauptfunktion | brauche Aufmerksamkeit |
|---|---|---|
| NFC | Äquivalente Darstellung der Ausrichtungsspezifikation, geeignet für die Vergleichsvorverarbeitung | Ändern Sie nicht die Form kompatibler Zeichen |
| NFKC | Größerer Bereich, kompatible Zeichen werden ausgeblendet, was die Suche möglicherweise einfacher macht | Nicht unbedingt für die Archivierung oder den Vergleich technischer Symbole geeignet |
| casefold | Erstellen Sie Übereinstimmungsschlüssel ohne Berücksichtigung der Groß- und Kleinschreibung | Die Ergebnisse sind sprachabhängig und es ist nicht angebracht, den Originaltext direkt zu ersetzen. |
🎯 Welche Methode ist für Dich geeignet?
Wenn Sie feststellen müssen, ob zwei Zeichenfolgen gleich sind
Führen Sie zuerst die NFC-Normalisierung durch und vergleichen Sie sie dann. Dies ist der Ausgangspunkt für die Untersuchung von Darstellungsunterschieden.
Wenn Sie eine Suche oder Begriffssuche durchführen
normalized_key kann erstellt und der Richtlinienname und die Version aufgezeichnet werden, während der Originaltext unverändert bleibt.
Wenn Sie den Originaltext zur Anzeige oder Überprüfung behalten müssen
Behalten Sie original_text bei, überschreiben Sie es nicht mit einem passenden Schlüssel.
Wenn Sie es mit Archiven, technischen Symbolen oder sicherheitsrelevanten Inhalten zu tun haben
Bewerten Sie zunächst, ob NFKC geeignet ist, und beheben Sie dann separat Probleme wie Zeichen mit der Breite Null und ähnliche Zeichen. Betrachten Sie die Normalisierung nicht als vollständigen Schutz.
❓ Häufig gestellte Fragen (FAQ)
1. Die beiden Zeichenfolgen sehen gleich aus. Warum können sie nicht übereinstimmen?
Es ist möglich, dass dasselbe Zeichen mit Akzent auf zwei Arten dargestellt wird: als einzelner Codepunkt oder als Basisbuchstabe plus Kombinationssymbol. Eine NFC-Normalisierung vor dem Vergleich kann sie ausrichten.
2. Können Sie NFKC direkt verwenden, um alle Charaktere zu vereinheitlichen?
unsicher. NFKC reduziert kompatible Zeichen, die möglicherweise nicht den Anforderungen der Archivierung oder des technischen Symbolvergleichs entsprechen und entsprechend den Geschäftsanforderungen bewertet werden sollten.
3. Kann ich nach der Normalisierung den Zeichenversatz direkt verwenden, um den Originaltext hervorzuheben?
Es kann nicht direkt verwendet werden. Die Länge kann sich nach der Normalisierung ändern, sodass die Fragmentzuordnung beibehalten oder auf der ursprünglichen Textebene neu positioniert werden muss.
4. Kann die Normalisierung alle Zeichen mit ähnlichem Aussehen erkennen?
kann nicht. Zeichen mit ähnlichem Erscheinungsbild haben möglicherweise keine kanonische oder kompatible Äquivalenz, und Zeichen mit der Breite Null, Leerzeichen und OCR-Fehler müssen ebenfalls separat diagnostiziert werden.
📝 Zusammenfassung
Wenn eine Begriffsübereinstimmung fehlschlägt, überprüfen Sie zunächst, ob es sich bei dem Unterschied um eine Unicode-Darstellung oder einen Inhaltsunterschied handelt, bevor Sie eine explizite Normalisierungsstrategie auswählen. Nur wenn Originaltext und passende Schlüssel getrennt gespeichert werden, kann der Retrieval-Effekt und die Nachvollziehbarkeit berücksichtigt werden.
Quellen: Python unicodedata
