OCR foi ampliado e cortado, como mapear o quadro de reconhecimento de volta ao texto original

O quadro de reconhecimento retornado pelo OCR pode ser preciso na imagem local, mas a imagem geral pode estar errada quando retornada ao PDF. Esse tipo de problema é muito comum. Ao solucionar problemas, você não precisa duvidar primeiro do mecanismo de reconhecimento. Você também deve verificar o link de pré-processamento. Este artigo foi escrito para desenvolvedores e revisores que precisam mapear os resultados do reconhecimento de volta ao documento de origem.

Muitas imagens são cortadas, dimensionadas e preenchidas com bordas brancas antes do reconhecimento. Cada etapa altera as coordenadas, portanto o mapeamento inverso deve ser desfeito na ordem inversa. Depois de ler este artigo, você pode usar um conjunto claro de ideias de transformação de coordenadas para localizar a causa do desalinhamento e usar testes de ida e volta e pontos de ancoragem artificiais para verificar os resultados.

O código de amostra foi verificado em um ambiente isolado, mas isso não é garantia de todos os arquivos reais ou do desempenho do produto. Guarde os originais antes de manusear documentos importantes.

O que devo fazer se a caixa de OCR não corresponder ao documento de origem? Conclusão de uma frase

Primeiro verifique a sequência de pré-processamento, registre a transformação das coordenadas de cada etapa e, em seguida, faça o mapeamento reverso na ordem inversa.

Use transformação explícita em vez de adivinhar o deslocamento

Assumindo um ponto no gráfico, primeiro subtraia a origem do recorte, depois multiplique pela proporção de escala e, em seguida, adicione a aresta suplementar. O processo inverso consiste primeiro em subtrair a aresta suplementar, depois dividi-la pela proporção e, finalmente, adicioná-la de volta à origem do corte.

• Avançar: subtraia a origem do corte → multiplique pela proporção de escala → adicione arestas suplementares
• Inverter: Subtraia a borda suplementar → Remova a escala → Adicione novamente a origem do corte

Se as proporções horizontais e verticais forem diferentes, elas deverão ser salvas separadamente. Isso também nos lembra que esticar a imagem à vontade mudará a forma do texto.

Deixe o teste de ida e volta cobrir coordenadas não inteiras

from math import isclose

origin = (100.0, 40.0)
scale = (2.0, 1.5)
padding = (8.0, 12.0)

def forward(point):
    return tuple((point[i] - origin[i]) * scale[i] + padding[i]
                 for i in range(2))

def inverse(point):
    if any(s <= 0 for s in scale):
        raise ValueError("positive scale required")
    return tuple((point[i] - padding[i]) / scale[i] + origin[i]
                 for i in range(2))

for point in [(100, 40), (125.5, 62.25), (200, 90)]:
    restored = inverse(forward(point))
    assert all(isclose(a, b) for a, b in zip(point, restored))
assert forward((100, 40)) == padding
assert inverse((58, 42)) == (125.0, 60.0)

Este exemplo verifica apenas cálculos geométricos e não executa OCR. A reamostragem de imagens envolve convenções de centro de pixel e arredondamento, e o mapeamento de borda real requer coordenadas contínuas unificadas ou semântica de limite de pixel.

Não arredonde as coordenadas de ponto flutuante prematuramente e trate-as de acordo com regras claras ao desenhar.

A caixa nem sempre tem apenas dois pontos

Diferentes transformações precisam salvar informações diferentes, e os cuidados ao mapear também são diferentes:

Use pontos de ancoragem artificiais para verificar links de exibição

Marque cantos conhecidos em várias amostras dessensibilizadas e verifique se eles se sobrepõem após o pré-processamento e depois retornando às imagens originais. O teste de unidade matemática é aprovado e apenas alguns erros de cálculo podem ser eliminados; rotação de página, escala de exibição e sistemas de coordenadas PDF ainda podem introduzir novos desvios.

O destaque bilíngue requer localização confiável

Ao construir uma ferramenta de revisão em torno da tradução de OmniDoc (portal de produtos), links de coordenadas devem ser aceitos junto com links de conteúdo se o local de origem for exibido. Destacar a linha errada faz com que a tradução correta pareça pouco confiável. Manter um registro das transformações é mais fácil de manter do que uma compensação ad hoc no front-end.

Os detalhes da interface do mapeamento de pixels podem ser encontrados em Tamanho da imagem de travesseiro e interface de transformação.

📊 Comparação principal

Comparação de métodos de verificação:

Comparação de métodos de processamento de coordenadas:

🎯 Qual método é adequado para você?

se você……

• O quadro de reconhecimento é preciso em imagens locais e deslocado em toda a página: primeiro verifique a ordem de corte, dimensionamento e preenchimento das bordas e depois inverta o mapeamento na ordem inversa.
• Necessidade de lidar com coordenadas não inteiras: primeiro use um teste de ida e volta para verificar o cálculo, não arredonde por enquanto e depois unifique as regras ao desenhar.
• Faça destaque bilíngue ou posicionamento de origem: aceite links de coordenadas e links de conteúdo juntos e mantenha registros de transformação.
• Envolvendo rotação ou correção de perspectiva: não salve apenas um retângulo de dois pontos, mapeie quatro cantos ou salve uma transformação homográfica.

❓ Perguntas frequentes (FAQ)

1. O mecanismo de reconhecimento precisa ser substituído primeiro?

Não há necessidade de duvidar do motor primeiro. A ordem de pré-processamento deve ser verificada primeiro, pois o corte, o dimensionamento e o preenchimento das bordas alteram todas as coordenadas.

2. Se o teste de unidade matemática for aprovado, ele garante que o mapeamento esteja correto?

não pode. Ele só pode descartar alguns erros de cálculo, e a rotação da página, o dimensionamento da exibição e os sistemas de coordenadas do PDF ainda podem introduzir novos preconceitos.

3. Por que não é recomendado arredondar as coordenadas prematuramente?

A reamostragem de imagens envolve convenções de centralização e arredondamento de pixels. As coordenadas de ponto flutuante devem ser retidas primeiro e depois processadas de acordo com regras claras durante o desenho.

4. Qual será o impacto se a imagem for esticada?

Quando as proporções horizontais e verticais forem diferentes, elas deverão ser salvas separadamente. O alongamento aleatório alterará a forma do texto e afetará a correspondência entre o quadro de reconhecimento e o conteúdo do documento.

📝 Resumo

O desalinhamento da caixa de OCR geralmente vem da cadeia de pré-processamento e não do resultado do reconhecimento em si. Somente registando claramente cada passo da transformação e utilizando testes de ida e volta e pontos de ancoragem artificiais para aceitação conjunta, a posição destacada poderá ser confiável.

Experimente agora: carregue o documento para iniciar a tradução, mantendo o layout original