Termenul indică faptul că cuvântul există, dar potrivirea eșuează? Verificați mai întâi reprezentarea Unicode
Acest cuvânt este în mod clar în glosar, dar programul spune că nu există nicio lovitură. Imprimați șirul și vedeți că ambele părți par să fie exact la fel. Motivul poate să nu fie în traducere, ci în reprezentarea Unicode: un caracter accentuat poate fi fie un singur punct de cod, fie o literă de bază plus un simbol combinat.
Acest cuvânt este în mod clar în glosar, dar programul spune că nu există nicio lovitură. Imprimați șirul și vedeți că ambele părți par să fie exact la fel. Acest tip de problemă este obișnuită în scenariile de traducere în lot, de regăsire a termenilor și de comparare a documentelor. Motivul nu se află adesea în traducerea în sine, ci în reprezentarea Unicode: un caracter accentuat poate fi fie un singur punct de cod, fie compus din litere de bază plus simboluri combinate.
Acest articol folosește mostre sintetice pentru a demonstra metoda de procesare pentru a vă ajuta să găsiți mai întâi sursa diferenței și apoi să decideți cum să normalizați și să salvați datele.
Codul a fost verificat cu exemple într-un mediu izolat, aceasta nu reprezintă o garanție a tuturor fișierelor reale sau a performanței produsului. Înainte de a procesa documente importante, vă rugăm să păstrați originalele și să le revizuiți în funcție de limitele și elementele de acceptare din text.
Ce ar trebui să fac dacă potrivirea termenilor eșuează? O singură propoziție concluzie
Mai întâi determinați dacă este o diferență de reprezentare sau o diferență de conținut: diferențele de reprezentare pot fi aliniate prin normalizare, cum ar fi NFC, în timp ce diferențele de conținut trebuie procesate înapoi la termenul în sine.
| situatia ta | Practici recomandate | motiv |
|---|---|---|
| Corzile arată la fel, dar meciul eșuează | Faceți normalizarea NFC înainte de comparare | NFC este adesea folosit pentru a alinia reprezentări echivalente canonic |
| Sunt necesare potriviri de căutare mai largi, cum ar fi lățimea completă și jumătatea lățimii | Evaluați NFKC, dar nu suprascrieți textul original | NFKC are un domeniu de aplicare mai larg, va restrânge caractere compatibile și poate să nu fie neapărat potrivit pentru simboluri de arhivă sau tehnice. |
| Caz inconsecvent | Creați chei de potrivire care nu țin cont de majuscule | casefold poate fi folosit pentru potrivirea fără majuscule |
| Trebuie să evidențiați sau să scrieți înapoi în textul original | Păstrați maparea fragmentelor de text original sau repoziționați la nivelul textului original | Lungimea se poate modifica după normalizare, iar utilizarea directă a offset-ului va reduce intervalul greșit. |
Mai întâi confirmați dacă reprezintă o diferență sau o diferență de conținut.
Efectuați normalizarea NFC înainte de comparare, adesea folosită pentru a alinia reprezentări echivalente canonic. NFKC are un domeniu de aplicare mai larg și va restrânge unele caractere compatibile. Acest lucru poate satisface nevoile de căutare, dar nu neapărat nevoile de conservare a arhivelor sau de comparare a simbolurilor tehnice.
Nu confunda „mai ușor de asortat"cu „semantica trebuie să rămână neschimbată".
În exemplul sintetic, cele două moduri de a scrieé ar trebui să fie consistente după NFC; literele cu lățime completă și caracterele superscript sunt folosite pentru a arăta modificările pe care le va aduce NFKC. Sunt doar exemple concrete și nu înseamnă că toate proiectele ar trebui să adopte o anumită formă.
Utilizați codul pentru a vedea diferențele pe care nu le-ați văzut înainte.
import unicodedata as ud
composed = "café"
decomposed = "cafe\u0301"
assert composed != decomposed
assert ud.normalize("NFC", composed) == ud.normalize("NFC", decomposed)
fullwidth = "ABC"
assert ud.normalize("NFC", fullwidth) == fullwidth
assert ud.normalize("NFKC", fullwidth) == "ABC"
assert ud.normalize("NFKC", "x²") == "x2"
def term_key(text):
return ud.normalize("NFC", text).casefold()
assert term_key("CAFÉ") == term_key(decomposed)
assert term_key("x²") != term_key("x2")
print([f"U+{ord(c):04X}" for c in decomposed])
Exemplul selectează NFC plus casefold pentru potrivirea termenilor, care este o strategie de potrivire limitată intenționat. casefold produce, de asemenea, rezultate de pliere dependente de limbă, așa că nu este convenabil să înlocuiți doar tot textul original cu cheile generate.
Textul original și cheile de potrivire sunt stocate separat.
Păstrați original_text și creați un alt normalized_key. Primul este folosit pentru afișare, urmărire și revizuire, iar cel de-al doilea este folosit pentru recuperare în cadrul strategiei actuale.
Înregistrați, de asemenea, numele și versiunea politicii. În viitor, când se vor folosi alte reguli, indexul poate fi reconstruit în consecință, mai degrabă decât să se constate că textul original a fost suprascris ireversibil.
| observa | Acțiuni de încercat | Lucruri care nu trebuie făcute întâmplător |
|---|---|---|
| Diferența de stres combinată | Urmați o strategie clară pentru NFC | Revendicarea numărului de caractere nu mai contează |
| Diferența de jumătate de lățime pe toată lățimea | Evaluați NFKC în funcție de nevoile afacerii | Acoperiți direct textul original al documentelor tehnice |
| Diferența de caz | Creați chei de potrivire fără majuscule | Faceți textul afișat cu minuscule |
| Încă nu lovit | Vizualizați punctele de cod cu context real | Suprapuneți și înlocuiți continuu reguli pentru a vă încerca norocul |
Normalizarea nu rezolvă toate „arata la fel"
Este posibil să nu existe o relație de echivalență standardizată sau compatibilă între literele latine și caracterele din alte scripturi care au înfățișări similare. Caracterele cu lățime zero, spații diferite și literele de recunoaștere OCR ca numere trebuie toate diagnosticate separat.
Când vine vorba de scenarii sensibile la securitate, cum ar fi conturile și identificatorii de fișiere, vă rugăm să nu considerați exemplele de potrivire a termenilor din acest articol drept protecție completă a caracterelor ofucate.
Urmărirea poziției trebuie gestionată separat
Lungimea șirului se poate modifica după normalizare. Utilizați decalajul de caractere din cheia de potrivire pentru a decupa textul original, ceea ce poate duce la tăierea unui interval greșit.
Când este necesară evidențierea sau scrierea înapoi, maparea dintre fragmentele de text originale și cheile de potrivire ar trebui păstrate sau repoziționate la nivelul textului original.
Păstrați dovezile înainte de a trimite întrebarea traducătorului
Când evaluați terminologia OmniDoc și fluxul de lucru de traducere, puteți pregăti două reprezentări Unicode ale aceluiași termen, documentând textul sursă, strategia utilizată și traducerea.
În acest fel, atunci când se găsesc inconsecvențe, se poate distinge dacă problema constă în potrivirea intrărilor sau în selecția traducerii și evitați să dați vina pe modelul de traducere pentru toate diferențele.
📊 Comparație de bază
| Strategie | Funcția principală | nevoie de atenție |
|---|---|---|
| NFC | Reprezentare echivalentă a specificațiilor de aliniere, potrivită pentru preprocesarea comparației | Nu schimbați forma caracterelor compatibile |
| NFKC | Gamă mai largă, vor restrânge caracterele compatibile, poate fi mai ușor de căutat | Nu este neapărat potrivit pentru conservarea arhivelor sau compararea simbolurilor tehnice |
| casefold | Creați chei de potrivire care nu țin cont de majuscule | Rezultatele depind de limba și nu este adecvată înlocuirea directă a textului original. |
🎯 Ce metodă este potrivită pentru tine?
Dacă trebuie să determinați dacă două șiruri sunt la fel
Faceți mai întâi normalizarea NFC și apoi comparați. Acesta este punctul de plecare pentru examinarea diferențelor de reprezentare.
Dacă efectuați o căutare sau o căutare pe termeni
normalized_key poate fi creat, iar numele și versiunea politicii pot fi înregistrate, în timp ce textul original rămâne neschimbat.
Dacă trebuie să păstrați textul original pentru afișare sau revizuire
Păstrați original_text, nu îl suprascrieți cu o cheie potrivită.
Dacă aveți de-a face cu arhive, simboluri tehnice sau conținut sensibil la securitate
Mai întâi, evaluați dacă NFKC este adecvat și rezolvați separat problemele, cum ar fi caracterele cu lățime zero și caracterele similare. Nu considerați normalizarea drept protecție completă.
❓ Întrebări frecvente (FAQ)
1. Cele două șiruri arată la fel, de ce nu se pot potrivi?
Este posibil ca același caracter accentuat să fie reprezentat în două moduri: ca un singur punct de cod sau ca o literă de bază plus un simbol de combinare. Normalizarea NFC înainte de comparare le poate alinia.
2. Puteți folosi direct NFKC pentru a unifica toate personajele?
nesigur. NFKC va restrânge caracterele compatibile, care ar putea să nu satisfacă nevoile de conservare a arhivelor sau de comparare a simbolurilor tehnice și ar trebui evaluate în funcție de nevoile afacerii.
3. După normalizare, pot folosi direct offset de caractere pentru a evidenția textul original?
Nu poate fi folosit direct. Lungimea se poate modifica după normalizare, necesitând păstrarea sau repoziționarea maparii fragmentelor la nivelul textului original.
4. Normalizarea poate recunoaște toate personajele cu aspect similar?
nu poate. Este posibil ca caracterele cu aspect similar să nu aibă neapărat echivalențe canonice sau compatibile, iar caracterele cu lățime zero, spațiile și erorile OCR trebuie, de asemenea, diagnosticate separat.
📝 Rezumat
Când o potrivire a termenilor eșuează, confirmați mai întâi dacă diferența este o reprezentare Unicode sau o diferență de conținut înainte de a alege o strategie de normalizare explicită. Numai atunci când textul original și cheile de potrivire sunt salvate separat, efectul de recuperare și trasabilitatea pot fi luate în considerare.
Referințe: Python unicodedata
Încercați acum: încărcați documentul pentru a începe traducerea, păstrând aspectul original


