Výraz označuje, že slovo existuje, ale zhoda zlyhá? Najprv skontrolujte reprezentáciu Unicode
Toto slovo je jasne v glosári, ale program hovorí, že nie je žiadny hit. Vytlačte reťazec a uvidíte, že obe strany sa zdajú byť úplne rovnaké. Dôvod nemusí spočívať v preklade, ale v reprezentácii Unicode: znak s diakritikou môže byť buď jeden bod kódu, alebo základné písmeno plus kombinovaný symbol.
Toto slovo je jasne v glosári, ale program hovorí, že nie je žiadny hit. Vytlačte reťazec a uvidíte, že obe strany sa zdajú byť úplne rovnaké. Tento typ problému je bežný v scenároch dávkového prekladu, vyhľadávania termínov a porovnávania dokumentov. Dôvod často nie je v samotnom preklade, ale v reprezentácii Unicode: znak s diakritikou môže byť buď jeden kódový bod, alebo zložený zo základných písmen plus kombinovanie symbolov.
Tento článok používa syntetické vzorky na demonštráciu metódy spracovania, ktorá vám pomôže najskôr nájsť zdroj rozdielu a potom sa rozhodnúť, ako normalizovať a uložiť údaje.
Kód bol skontrolovaný s príkladmi v izolovanom prostredí, čo nepredstavuje záruku všetkých skutočných súborov alebo výkonu produktu. Pred spracovaním dôležitých dokumentov si uschovajte originály a skontrolujte ich podľa hraníc a akceptačných položiek v texte.
Čo mám robiť, ak priraďovanie výrazov zlyhá? Záver jednou vetou
Najprv určite, či ide o rozdiel v reprezentácii alebo o rozdiel v obsahu: rozdiely v reprezentácii je možné zosúladiť pomocou normalizácie, ako je NFC, zatiaľ čo rozdiely v obsahu je potrebné spracovať späť k samotnému termínu.
| vaša situácia | Odporúčané postupy | dôvod |
|---|---|---|
| Struny vyzerajú rovnako, ale zhoda zlyhá | Pred porovnaním vykonajte normalizáciu NFC | NFC sa často používa na zarovnanie kanonicky ekvivalentných reprezentácií |
| Vyžadujú sa širšie zhody vyhľadávania, napríklad plná šírka a polovičná šírka | Vyhodnoťte NFKC, ale neprepisujte pôvodný text | NFKC má širší rozsah, zbalí kompatibilné znaky a nemusí byť nevyhnutne vhodné pre archívne alebo technické symboly. |
| Nekonzistentný prípad | Vytvorte kľúče zhody bez rozlišovania malých a veľkých písmen | casefold možno použiť na párovanie bez ohľadu na veľkosť písmen |
| Potrebujete zvýrazniť alebo odpísať pôvodný text | Zachovať pôvodné mapovanie fragmentov textu alebo premiestniť na úrovni pôvodného textu | Dĺžka sa môže po normalizácii zmeniť a priamym použitím offsetu sa zníži nesprávny rozsah. |
Najprv potvrďte, či to predstavuje rozdiel alebo rozdiel v obsahu.
Pred porovnaním vykonajte normalizáciu NFC, ktorá sa často používa na zarovnanie kanonicky ekvivalentných zobrazení. NFKC má širší rozsah a zbalí niektoré kompatibilné postavy. To môže spĺňať potreby vyhľadávania, ale nie nevyhnutne potreby archivácie alebo porovnávania technických symbolov.
Nezamieňajte si „ľahšie priraďovateľné"za „sémantika musí zostať nezmenená".
V syntetickom príklade by dva spôsoby zápisué mali byť konzistentné po NFC; na zobrazenie zmien, ktoré NFKC prinesie, sa používajú písmená plnej šírky a horné indexy. Sú to len konkrétne príklady a neznamenajú, že všetky projekty by mali mať určitú formu.
Použite kód na zobrazenie rozdielov, ktoré ste predtým nevideli.
import unicodedata as ud
composed = "café"
decomposed = "cafe\u0301"
assert composed != decomposed
assert ud.normalize("NFC", composed) == ud.normalize("NFC", decomposed)
fullwidth = "ABC"
assert ud.normalize("NFC", fullwidth) == fullwidth
assert ud.normalize("NFKC", fullwidth) == "ABC"
assert ud.normalize("NFKC", "x²") == "x2"
def term_key(text):
return ud.normalize("NFC", text).casefold()
assert term_key("CAFÉ") == term_key(decomposed)
assert term_key("x²") != term_key("x2")
print([f"U+{ord(c):04X}" for c in decomposed])
Príklad vyberie NFC plus casefold na párovanie termínov, čo je zámerne obmedzená stratégia párovania. casefold tiež vytvára výsledky skladania v závislosti od jazyka, takže nie je vhodné len nahradiť všetok pôvodný text vygenerovanými kľúčmi.
Pôvodný text a zodpovedajúce tlačidlá sú uložené oddelene.
Ponechajte si original_text a vytvorte ďalšie normalized_key. Prvý sa používa na zobrazenie, sledovanie a kontrolu a druhý sa používa na vyhľadávanie podľa aktuálnej stratégie.
Zaznamenajte si aj názov a verziu politiky. V budúcnosti, keď sa použijú iné pravidlá, možno index podľa toho prebudovať, namiesto toho, aby sa zistilo, že pôvodný text bol nenávratne prepísaný.
| pozorovať | Akcie na vyskúšanie | Veci, ktoré sa nerobia náhodne |
|---|---|---|
| Kombinačný rozdiel napätia | Postupujte podľa jasnej stratégie pre NFC | Tvrdenie, že počet postáv už nemá význam |
| Rozdiel po celej šírke a polovičnej šírke | Posúďte NFKC podľa obchodných potrieb | Priamo zakryte pôvodný text technických dokumentov |
| Rozdiel medzi prípadmi | Vytvorte párovacie kľúče bez rozlišovania malých a veľkých písmen | Nastavte zobrazovaný text na malé písmená |
| Stále nezasiahnutý | Zobrazte body kódu so skutočným kontextom | Neustále prekrývajte a nahradzujte pravidlá a skúšajte svoje šťastie |
Normalizácia nerieši všetko "vyzerať rovnako"
Medzi latinskými písmenami a znakmi v iných písmach, ktoré majú podobný vzhľad, nemusí existovať štandardizovaný alebo kompatibilný vzťah ekvivalencie. Znaky s nulovou šírkou, rôzne medzery a OCR rozpoznávajúce písmená ako čísla, to všetko je potrebné diagnostikovať samostatne.
Pokiaľ ide o scenáre citlivé na bezpečnosť, ako sú účty a identifikátory súborov, nepovažujte výrazy zhodné s príkladmi v tomto článku za úplnú ochranu znakov.
Sledovanie polohy je potrebné riešiť samostatne
Dĺžka reťazca sa môže po normalizácii zmeniť. Na orezanie pôvodného textu použite posun znakov v kľúči zhody, čo môže spôsobiť orezanie nesprávneho rozsahu.
Keď sa vyžaduje zvýraznenie alebo spätný zápis, mapovanie medzi fragmentmi pôvodného textu a zodpovedajúcimi klávesmi by sa malo zachovať alebo zmeniť na úroveň pôvodného textu.
Pred odoslaním otázky prekladateľovi si uschovajte dôkazy
Pri vyhodnocovaní terminológie a pracovného postupu prekladu OmniDoc môžete pripraviť dve reprezentácie Unicode toho istého termínu, ktoré dokumentujú zdrojový text, použitú stratégiu a preklad.
Týmto spôsobom, keď sa zistia nezrovnalosti, možno rozlíšiť, či problém spočíva v zhode vstupov alebo výbere prekladu, a vyhnúť sa obviňovaniu všetkých rozdielov z modelu prekladu.
📊 Základné porovnanie
| Stratégia | Hlavná funkcia | potrebujú pozornosť |
|---|---|---|
| NFC | Ekvivalentná reprezentácia špecifikácie zarovnania, vhodná na predspracovanie porovnávania | Nemeňte formu kompatibilných znakov |
| NFKC | Širší rozsah, zbalia sa kompatibilné znaky, vyhľadávanie môže byť jednoduchšie | Nie je nevyhnutne vhodný na archiváciu alebo porovnávanie technických symbolov |
| casefold | Vytvorte kľúče zhody bez rozlišovania malých a veľkých písmen | Výsledky závisia od jazyka a nie je vhodné priamo nahradiť pôvodný text. |
🎯 Ktorá metóda je pre vás vhodná?
Ak potrebujete zistiť, či sú dva reťazce rovnaké
Najprv vykonajte normalizáciu NFC a potom porovnajte. Toto je východiskový bod na skúmanie rozdielov v zastúpení.
Ak robíte vyhľadávanie alebo vyhľadávanie výrazov
Je možné vytvoriť normalized_key a zaznamenať názov a verziu politiky, pričom pôvodný text zostane nezmenený.
Ak si potrebujete ponechať pôvodný text na zobrazenie alebo kontrolu
Ponechajte original_text, neprepisujte ho zodpovedajúcim kľúčom.
Ak sa zaoberáte archívmi, technickými symbolmi alebo obsahom citlivým na bezpečnosť
Najprv zhodnoťte, či je NFKC vhodný, a samostatne riešte problémy, ako sú znaky s nulovou šírkou a podobné znaky. Nepovažujte normalizáciu za úplnú ochranu.
❓ Často kladené otázky (FAQ)
1. Tieto dva reťazce vyzerajú rovnako, prečo sa nemôžu zhodovať?
Je možné, že ten istý znak s diakritikou je reprezentovaný dvoma spôsobmi: ako jeden kódový bod alebo ako základné písmeno plus kombinovaný symbol. Normalizácia NFC pred porovnaním ich môže zarovnať.
2. Môžete priamo použiť NFKC na zjednotenie všetkých postáv?
neistý. NFKC zbalí kompatibilné znaky, ktoré nemusia spĺňať potreby archivácie alebo porovnávania technických symbolov a mali by byť vyhodnotené podľa obchodných potrieb.
3. Môžem po normalizácii priamo použiť odsadenie znakov na zvýraznenie pôvodného textu?
Nedá sa použiť priamo. Dĺžka sa môže po normalizácii zmeniť, čo si vyžaduje zachovanie alebo premiestnenie mapovania fragmentov na úroveň pôvodného textu.
4. Dokáže normalizácia rozpoznať všetky postavy s podobným vzhľadom?
nemôže. Znaky s podobným vzhľadom nemusia mať nevyhnutne kanonické alebo kompatibilné ekvivalenty a znaky s nulovou šírkou, medzery a chyby OCR je tiež potrebné diagnostikovať samostatne.
📝 Zhrnutie
Keď zhoda výrazov zlyhá, pred výberom explicitnej stratégie normalizácie najprv potvrďte, či ide o reprezentáciu Unicode alebo o rozdiel v obsahu. Iba vtedy, keď sa pôvodný text a zodpovedajúce kľúče uložia oddelene, možno brať do úvahy efekt vyhľadávania a sledovateľnosť.
Zdroje: Python unicodedata
Skúste to teraz: Odovzdajte dokument a spustite preklad, pričom sa zachová pôvodné rozloženie


