OmniDocIl termine indica che la parola esiste ma la corrispondenza fallisce? Controllare prima la rappresentazione Unicode
Questa parola è chiaramente nel glossario, ma il programma dice che non c'è nessun riscontro. Stampa la stringa e osserva che entrambi i lati sembrano essere esattamente uguali. La ragione potrebbe non risiedere nella traduzione, ma nella rappresentazione Unicode: un carattere accentato può essere un singolo punto di codice o una lettera di base più un simbolo di combinazione.
Questa parola è chiaramente nel glossario, ma il programma dice che non c'è nessun riscontro. Stampa la stringa e osserva che entrambi i lati sembrano essere esattamente uguali. Questo tipo di problema è comune negli scenari di traduzione batch, recupero di termini e confronto di documenti. Il motivo spesso non sta nella traduzione stessa, ma nella rappresentazione Unicode: un carattere accentato può essere un singolo punto di codice o composto da lettere di base più simboli combinati.
Questo articolo utilizza campioni sintetici per dimostrare il metodo di elaborazione per aiutarti a trovare prima l'origine della differenza e quindi a decidere come normalizzare e salvare i dati.
Il codice è stato controllato con esempi in un ambiente isolato, questo non rappresenta una garanzia di tutti i file reali o delle prestazioni del prodotto. Prima di elaborare documenti importanti, conservare gli originali e rivederli rispettando i limiti e gli elementi di accettazione nel testo.
Cosa devo fare se la corrispondenza dei termini non riesce? Conclusione di una frase
Innanzitutto determinare se si tratta di una differenza di rappresentazione o di contenuto: le differenze di rappresentazione possono essere allineate attraverso la normalizzazione come NFC, mentre le differenze di contenuto devono essere rielaborate fino al termine stesso.
| la tua situazione | Pratiche consigliate | motivo |
|---|---|---|
| Le stringhe sembrano uguali ma la corrispondenza fallisce | Eseguire la normalizzazione NFC prima del confronto | NFC viene spesso utilizzato per allineare rappresentazioni canonicamente equivalenti |
| Sono necessarie corrispondenze di ricerca più ampie, ad esempio a larghezza intera e a metà larghezza | Valuta NFKC, ma non sovrascrivere il testo originale | NFKC ha un ambito più ampio, comprimerà i caratteri compatibili e potrebbe non essere necessariamente adatto a simboli tecnici o di archivio. |
| Caso incoerente | Crea chiavi di corrispondenza senza distinzione tra maiuscole e minuscole | casefold può essere utilizzato per la corrispondenza senza distinzione tra maiuscole e minuscole |
| È necessario evidenziare o riscrivere il testo originale | Conserva la mappatura dei frammenti di testo originale o riposiziona al livello del testo originale | La lunghezza potrebbe cambiare dopo la normalizzazione e l'utilizzo diretto dell'offset taglierà l'intervallo sbagliato. |
Per prima cosa conferma se rappresenta una differenza o una differenza di contenuto.
Eseguire la normalizzazione NFC prima del confronto, spesso utilizzata per allineare rappresentazioni canonicamente equivalenti. NFKC ha una portata più ampia e comprimerà alcuni caratteri compatibili. Ciò può soddisfare le esigenze di ricerca, ma non necessariamente le esigenze di conservazione degli archivi o di confronto tecnico dei simboli.
Non confondere "più facile da abbinare" con "la semantica deve rimanere invariata".
Nell'esempio sintetico, i due modi di scrivere é dovrebbero essere coerenti dopo NFC; lettere a larghezza intera e caratteri in apice vengono utilizzati per mostrare le modifiche apportate da NFKC. Si tratta solo di esempi specifici e non significano che tutti i progetti debbano adottare una determinata forma.
Usa il codice per vedere le differenze che non vedevi prima.
import unicodedata as ud
composed = "café"
decomposed = "cafe\u0301"
assert composed != decomposed
assert ud.normalize("NFC", composed) == ud.normalize("NFC", decomposed)
fullwidth = "ＡＢＣ"
assert ud.normalize("NFC", fullwidth) == fullwidth
assert ud.normalize("NFKC", fullwidth) == "ABC"
assert ud.normalize("NFKC", "x²") == "x2"
def term_key(text):
return ud.normalize("NFC", text).casefold()
assert term_key("CAFÉ") == term_key(decomposed)
assert term_key("x²") != term_key("x2")
print([f"U+{ord(c):04X}" for c in decomposed])L'esempio seleziona NFC più casefold per la corrispondenza dei termini, che è una strategia di corrispondenza intenzionalmente limitata. casefold produce anche risultati di piegatura dipendenti dalla lingua, quindi non è conveniente sostituire semplicemente tutto il testo originale con le chiavi generate.
Il testo originale e le chiavi corrispondenti vengono archiviati separatamente.
Mantieni original_text e crea un altro normalized_key. Il primo viene utilizzato per la visualizzazione, il tracciamento e la revisione, mentre il secondo viene utilizzato per il recupero nell'ambito della strategia attuale.
Registrare anche il nome e la versione della policy. In futuro, quando verranno utilizzate altre regole, l'indice potrà essere ricostruito di conseguenza, invece di scoprire che il testo originale è stato sovrascritto in modo irreversibile.
| osservare | Azioni da provare | Cose da non fare a caso |
|---|---|---|
| Differenza di sollecitazione combinata | Segui una strategia chiara per NFC | Affermare che il conteggio dei personaggi non abbia più importanza |
| Differenza di mezza larghezza su tutta la larghezza | Valutare NFKC in base alle esigenze aziendali | Coprire direttamente il testo originale dei documenti tecnici |
| Differenza di caso | Crea chiavi di corrispondenza senza distinzione tra maiuscole e minuscole | Rendi il testo visualizzato tutto in minuscolo |
| Ancora non colpito | Visualizza i punti di codice con il contesto reale | Sovrapponi e sostituisci continuamente le regole per tentare la fortuna |
La normalizzazione non risolve il problema "sembrano tutti uguali"
Potrebbe non esserci una relazione di equivalenza standardizzata o compatibile tra lettere latine e caratteri in altre scritture che hanno aspetti simili. I caratteri di larghezza zero, gli spazi diversi e il riconoscimento OCR delle lettere come numeri devono essere tutti diagnosticati separatamente.
Quando si tratta di scenari sensibili alla sicurezza come account e identificatori di file, non considerare gli esempi di corrispondenza dei termini in questo articolo come una protezione completa dei caratteri offuscati.
Il tracciamento della posizione deve essere gestito separatamente
La lunghezza della stringa può cambiare dopo la normalizzazione. Utilizzando l'offset del carattere nella chiave corrispondente per ritagliare il testo originale si potrebbe tagliare l'intervallo sbagliato.
Quando è necessario evidenziare o riscrivere, la mappatura tra i frammenti di testo originale e le chiavi corrispondenti deve essere mantenuta o riposizionata al livello del testo originale.
Conserva le prove prima di sottoporre la domanda al traduttore
Quando si valuta la terminologia e il flusso di lavoro di traduzione di OmniDoc, è possibile preparare due rappresentazioni Unicode dello stesso termine, documentando il testo di origine, la strategia utilizzata e la traduzione.
In questo modo, quando vengono rilevate incoerenze, è possibile distinguere se il problema risiede nella corrispondenza dell'input o nella selezione della traduzione, ed evitare di attribuire tutte le differenze al modello di traduzione.
📊 Confronto fondamentale
| Strategia | Funzione principale | bisogno di attenzione |
|---|---|---|
| NFC | Rappresentazione equivalente della specifica di allineamento, adatta per la pre-elaborazione del confronto | Non modificare la forma dei caratteri compatibili |
| NFKC | Una gamma più ampia comprimerà i caratteri compatibili e potrebbe essere più semplice da cercare | Non necessariamente adatto alla conservazione d'archivio o al confronto di simboli tecnici |
| casefold | Crea chiavi di corrispondenza senza distinzione tra maiuscole e minuscole | I risultati dipendono dalla lingua e non è opportuno sostituire direttamente il testo originale. |
🎯Quale metodo è adatto a te?
Se è necessario determinare se due stringhe sono uguali
Eseguire prima la normalizzazione NFC e poi confrontare. Questo è il punto di partenza per esaminare le differenze di rappresentazione.
Se stai effettuando una ricerca o una ricerca di termini
È possibile creare normalized_key e registrare il nome e la versione della policy, mentre il testo originale rimane invariato.
Se è necessario conservare il testo originale per visualizzarlo o rivederlo
Mantieni original_text, non sovrascriverlo con una chiave corrispondente.
Se hai a che fare con archivi, simboli tecnici o contenuti sensibili alla sicurezza
Valuta innanzitutto se NFKC è appropriato e risolvi separatamente i problemi come i caratteri a larghezza zero e caratteri simili. Non considerare la normalizzazione come una protezione completa.
❓ Domande frequenti (FAQ)
1. Le due stringhe sembrano uguali, perché non possono corrispondere?
È possibile che lo stesso carattere accentato sia rappresentato in due modi: come un singolo punto di codice o come una lettera base più un simbolo di combinazione. Effettuare la normalizzazione NFC prima del confronto può allinearli.
2. Puoi utilizzare direttamente NFKC per unificare tutti i personaggi?
incerto. NFKC comprimerà i caratteri compatibili, che potrebbero non soddisfare le esigenze di conservazione dell'archivio o di confronto dei simboli tecnici, e dovrà essere valutato in base alle esigenze aziendali.
3. Dopo la normalizzazione, posso utilizzare direttamente l'offset dei caratteri per evidenziare il testo originale?
Non può essere utilizzato direttamente. La lunghezza può cambiare dopo la normalizzazione, richiedendo la conservazione o il riposizionamento della mappatura dei frammenti al livello del testo originale.
4. La normalizzazione può riconoscere tutti i caratteri con aspetto simile?
non può. I caratteri con aspetti simili potrebbero non avere un'equivalenza canonica o compatibile e anche i caratteri di larghezza zero, gli spazi e gli errori OCR devono essere diagnosticati separatamente.
📝 Riepilogo
Quando la corrispondenza di un termine non riesce, verificare innanzitutto se la differenza è una rappresentazione Unicode o una differenza di contenuto prima di scegliere una strategia di normalizzazione esplicita. Solo quando il testo originale e le chiavi corrispondenti vengono salvate separatamente è possibile tenere conto dell'effetto di recupero e della tracciabilità.
Riferimenti: Python unicodedata
Provalo subito: carica il documento per iniziare la traduzione, mantenendo il layout originale
