OmniDocO termo indica que a palavra existe mas a correspondência falha? Verifique primeiro a representação Unicode
Esta palavra está claramente no glossário, mas o programa diz que não houve acerto. Imprima o barbante e veja que os dois lados parecem exatamente iguais. A razão pode não estar na tradução, mas na representação Unicode: um caractere acentuado pode ser um único ponto de código ou uma letra base mais um símbolo de combinação.
Esta palavra está claramente no glossário, mas o programa diz que não houve acerto. Imprima o barbante e veja que os dois lados parecem exatamente iguais. Esse tipo de problema é comum em cenários de tradução em lote, recuperação de termos e comparação de documentos. A razão muitas vezes não está na tradução em si, mas na representação Unicode: um caractere acentuado pode ser um único ponto de código ou composto de letras básicas mais símbolos combinados.
Este artigo usa amostras sintéticas para demonstrar o método de processamento para ajudá-lo a encontrar primeiro a origem da diferença e, em seguida, decidir como normalizar e salvar os dados.
O código foi verificado com exemplos em ambiente isolado, isso não representa garantia de todos os arquivos reais ou desempenho do produto. Antes de processar documentos importantes, guarde os originais e revise-os de acordo com os limites e itens de aceitação do texto.
O que devo fazer se a correspondência de termos falhar? Conclusão de uma frase
Primeiro determine se é uma diferença de representação ou uma diferença de conteúdo: as diferenças de representação podem ser alinhadas através de normalização como NFC, enquanto as diferenças de conteúdo precisam ser processadas de volta ao próprio termo.
| sua situação | Práticas recomendadas | razão |
|---|---|---|
| As strings parecem iguais, mas a correspondência falha | Faça a normalização do NFC antes da comparação | NFC é frequentemente usado para alinhar representações canonicamente equivalentes |
| São necessárias correspondências de pesquisa mais amplas, como largura total e meia largura | Avalie o NFKC, mas não substitua o texto original | NFKC tem um escopo mais amplo, reduzirá caracteres compatíveis e pode não ser necessariamente adequado para símbolos técnicos ou de arquivo. |
| Caso inconsistente | Crie chaves de correspondência que não diferenciam maiúsculas de minúsculas | casefold pode ser usado para correspondência sem distinção entre maiúsculas e minúsculas |
| Precisa destacar ou escrever de volta ao texto original | Preservar o mapeamento do fragmento de texto original ou reposicionar no nível do texto original | O comprimento pode mudar após a normalização e usar o deslocamento diretamente cortará o intervalo errado. |
Primeiro confirme se representa uma diferença ou uma diferença de conteúdo.
Execute a normalização NFC antes da comparação, geralmente usada para alinhar representações canonicamente equivalentes. NFKC tem um escopo mais amplo e reduzirá alguns caracteres compatíveis. Isto pode atender às necessidades de pesquisa, mas não necessariamente às necessidades de preservação de arquivos ou de comparação de símbolos técnicos.
Não confunda"mais fácil de combinar"com"a semântica deve permanecer inalterada".
No exemplo sintético, as duas formas de escreveré devem ser consistentes após NFC; letras de largura total e caracteres sobrescritos são usados para mostrar as mudanças que o NFKC trará. São apenas exemplos específicos e não significam que todos os projetos devam adotar uma determinada forma.
Use o código para ver as diferenças que você não viu antes.
import unicodedata as ud
composed = "café"
decomposed = "cafe\u0301"
assert composed != decomposed
assert ud.normalize("NFC", composed) == ud.normalize("NFC", decomposed)
fullwidth = "ＡＢＣ"
assert ud.normalize("NFC", fullwidth) == fullwidth
assert ud.normalize("NFKC", fullwidth) == "ABC"
assert ud.normalize("NFKC", "x²") == "x2"
def term_key(text):
return ud.normalize("NFC", text).casefold()
assert term_key("CAFÉ") == term_key(decomposed)
assert term_key("x²") != term_key("x2")
print([f"U+{ord(c):04X}" for c in decomposed])O exemplo seleciona NFC mais casefold para correspondência de termos, que é uma estratégia de correspondência intencionalmente limitada. casefold também produz resultados de dobramento dependentes do idioma, portanto não é conveniente apenas substituir todo o texto original pelas chaves geradas.
O texto original e as chaves correspondentes são armazenados separadamente.
Mantenha original_text e crie outro normalized_key. O primeiro é usado para exibição, rastreamento e revisão, e o último é usado para recuperação no âmbito da estratégia atual.
Registre também o nome e a versão da política. No futuro, quando outras regras forem utilizadas, o índice poderá ser reconstruído em conformidade, em vez de descobrir que o texto original foi sobrescrito de forma irreversível.
| observar | Ações para tentar | Coisas que não devem ser feitas casualmente |
|---|---|---|
| Diferença de estresse combinado | Siga uma estratégia clara para NFC | Afirmar que a contagem de caracteres não importa mais |
| Diferença entre largura total e meia largura | Avalie o NFKC de acordo com as necessidades do negócio | Cobrir diretamente o texto original dos documentos técnicos |
| Diferença de caso | Crie chaves correspondentes que não diferenciam maiúsculas de minúsculas | Deixar o texto de exibição todo em minúsculas |
| Ainda não acertei | Veja pontos de código com contexto real | Sobreponha e substitua regras continuamente para tentar a sorte |
A normalização não resolve tudo "parecer igual"
Pode não haver uma relação de equivalência padronizada ou compatível entre letras latinas e caracteres em outras escritas que tenham aparência semelhante. Caracteres de largura zero, espaços diferentes e OCR que reconhece letras como números precisam ser diagnosticados separadamente.
Quando se trata de cenários sensíveis à segurança, como contas e identificadores de arquivos, não considere os exemplos de correspondência de termos neste artigo como proteção completa de caracteres ofuscados.
O rastreamento de posição precisa ser tratado separadamente
O comprimento da string pode mudar após a normalização. Usar o deslocamento de caracteres na chave correspondente para cortar o texto original pode cortar o intervalo errado.
Quando for necessário destacar ou escrever de volta, o mapeamento entre os fragmentos do texto original e as chaves correspondentes deve ser mantido ou reposicionado no nível do texto original.
Guarde as evidências antes de enviar a pergunta ao tradutor
Ao avaliar a terminologia e o fluxo de trabalho de tradução do OmniDoc, você pode preparar duas representações Unicode do mesmo termo, documentando o texto fonte, a estratégia utilizada e a tradução.
Desta forma, quando são encontradas inconsistências, pode-se distinguir se o problema está na correspondência de entrada ou na seleção da tradução, e evitar atribuir todas as diferenças ao modelo de tradução.
📊 Comparação principal
| Estratégia | Função principal | preciso de atenção |
|---|---|---|
| NFC | Representação equivalente da especificação de alinhamento, adequada para pré-processamento de comparação | Não altere a forma dos caracteres compatíveis |
| NFKC | Gama mais ampla, recolherá caracteres compatíveis, pode ser mais fácil de pesquisar | Não necessariamente adequado para preservação em arquivo ou comparação de símbolos técnicos |
| casefold | Crie chaves de correspondência que não diferenciam maiúsculas de minúsculas | Os resultados dependem do idioma e não é apropriado substituir diretamente o texto original. |
🎯 Qual método é adequado para você?
Se você precisar determinar se duas strings são iguais
Faça a normalização do NFC primeiro e depois compare. Este é o ponto de partida para examinar as diferenças de representação.
Se você estiver fazendo uma pesquisa ou pesquisa por termo
normalized_key pode ser criado e o nome e a versão da política registrados, enquanto o texto original permanece inalterado.
Se você precisar manter o texto original para exibição ou revisão
Mantenha original_text, não o substitua por uma chave correspondente.
Se você estiver lidando com arquivos, símbolos técnicos ou conteúdo sensível à segurança
Primeiro avalie se o NFKC é apropriado e solucione problemas separadamente, como caracteres de largura zero e caracteres semelhantes. Não considere a normalização como uma proteção completa.
❓ Perguntas frequentes (FAQ)
1. As duas strings parecem iguais, por que não podem ser iguais?
É possível que o mesmo caractere acentuado seja representado de duas maneiras: como um único ponto de código ou como uma letra base mais um símbolo de combinação. Fazer a normalização do NFC antes da comparação pode alinhá-los.
2. Você pode usar NFKC diretamente para unificar todos os personagens?
incerto. O NFKC recolherá caracteres compatíveis, que podem não atender às necessidades de preservação de arquivos ou comparação técnica de símbolos, e devem ser avaliados de acordo com as necessidades do negócio.
3. Após a normalização, posso usar o deslocamento de caracteres diretamente para destacar o texto original?
Não pode ser usado diretamente. O comprimento pode mudar após a normalização, exigindo que o mapeamento do fragmento seja preservado ou reposicionado no nível do texto original.
4. A normalização pode reconhecer todos os caracteres com aparência semelhante?
não pode. Caracteres com aparência semelhante podem não ter equivalência canônica ou compatível, e caracteres de largura zero, espaços e erros de OCR também precisam ser diagnosticados separadamente.
📝 Resumo
Quando uma correspondência de termos falha, primeiro confirme se a diferença é uma representação Unicode ou uma diferença de conteúdo antes de escolher uma estratégia de normalização explícita. Somente quando o texto original e as chaves correspondentes são salvos separadamente é que o efeito de recuperação e a rastreabilidade podem ser levados em consideração.
Referências: Python unicodedata
Experimente agora: carregue o documento para iniciar a tradução, mantendo o layout original
