Extrakcia do JSON neznamená, že extrakcia je správna: vytvorte zmluvy o množstve, jednotke a zdroji

Len preto, že výsledok extrakcie je možné previesť na JSON, neznamená to, že extrakcia je správna. Tento článok používa desiatkové a poliové zmluvy na kontrolu množstva, jednotky, čísla strany, pôvodného textu a súradníc a pripája deterministické testy pre normálny vstup a abnormálny vstup, aby bolo možné chyby zastaviť skôr, ako sa dostanú do downstreamu.

To, že výsledok extrakcie môže byť analyzovaný pomocou JSON, neznamená, že môže byť priamo uložený v databáze. Tento článok je napísaný pre vývojárov, ktorí potrebujú posielať údaje o faktúrach a cenových ponukách do nadradených systémov. Na demonštráciu prísnejších hraníc používame syntetický fragment citácie: každé pole má okrem hodnoty aj jednotku, zdrojovú stránku, zdrojový text a súradnice. Analyzátor alebo model je zodpovedný iba za navrhovanie kandidátov a deterministický overovateľ určuje, či ich možno zahrnúť do databázy.

Po prečítaní tohto budete schopní pochopiť myšlienku súboru zmlúv o poli a vedieť, ako explicitne zachovať chýbajúce a neisté polia namiesto toho, aby ste ich štandardne vyplnili nulou.

Môžu byť výsledky extrakcie uložené priamo v databáze? Záver jednou vetou

To, či ho možno vložiť do databázy, závisí skôr od toho, či zmluva v teréne a overenie dôkazov prejdú, ako od toho, či je možné analyzovať JSON; polia, ktoré sa nepodarilo overiť, by mali zostať v stave čakania a nemôžu byť predvolene vyplnené nulou.

vaša situáciaOdporúčané postupydôvod
Analyzátor vrátil platný JSONPokračujte v overovaní zmluvy v teréne a neukladajte ju priamo do databázy.JSON znamená iba to, že ho program dokáže prečítať
Suma nemá žiadnu menu ani jednotkuNepreberajte menu, ponechajte si chýbajúci stavVyhnite sa tajnému prevzatiu RMB
Suma sa zobrazuje v regionálnych formátoch, ako je 1.200,50Definujte zmluvy samostatne pre každý povolený formátS regionálnymi pravidlami sa nedá zaobchádzať nenútene a jednotne
Musíte sa vrátiť k dokumentu a skontrolovať hoUložte si čísla strán, zdrojový text a súradnice a skontrolujte rozsahy čísel stránUľahčite recenzentom základňu umiestnenia
Zahŕňa viacero mien alebo výmenných kurzovPôvodná suma meny, typ meny a zdroj výmenného kurzu sa zachovajú a nevykoná sa žiadna implicitná konverzia.Čiastky nie je možné previesť bez výmenných kurzov

Odovzdajte hodnotu spolu s dôkazmi

Odovzdajte faktúru alebo cenovú ponuku syntaktickému analyzátoru a JSON, ktorý dostanete späť, vám len povie, že ho program dokáže prečítať. 1200 Je to jednotková cena alebo celková suma? Kde je mena? 1.200,50 treba chápať podľa akých regionálnych pravidiel? Naozaj existuje vrátené číslo strany? Toto nie sú otázky, na ktoré môže syntax JSON odpovedať.

Poleobmedzenieprečo treba
čiastkaDesatinný reťazec, príklad obmedzený na nezáporné a dve desatinné miestaVyhnite sa neúmyselnému zavedeniu binárnych aproximácií s pohyblivou rádovou čiarkou
currencyTento scenár je obmedzený na USDNepredpokladajte tajne RMB, keď nemáte menu
source.pageZačínajúc od 1 a neprekračujúc počet stránUľahčiť používateľom návrat na pôvodné miesto dokumentu
source.quoteMusí ísť o fragment priamo na stránke poskytnutý volajúcimPoskytuje základ pre opätovné preskúmanie
source.bboxObmedzená hodnota v rámci rozsahu stránZabrániť tomu, aby prázdne rámce a neplatné súradnice boli vydávané za dôkaz

Súradnicová jednotka je tu PDF bod, s počiatkom v ľavom hornom rohu aktuálne dohodnutej stránky. Upstream by mal najprv zjednotiť rotáciu, orezávanie a súradnicové systémy; súradnice z rôznych parserov by sa nemali miešať priamo. Tento príklad iba demonštruje konvenciu a nedokazuje, že text je skutočne obsiahnutý v boxe.

Kompletné testovanie validácie a zamietnutia

Beží iba pomocou štandardnej knižnice Pythonu. Decimal by mal byť zostavený z reťazca; nekonvertujte najprv na float pred odovzdaním. Presné desatinné spracovanie súm nájdete v Python desiatková dokumentácia.

Nasledujúci kód je skutočný výstup testu, nie správa o presnosti rozpoznávania. Ukážkový vstup sme ručne napísali my a neprešiel OCR ani modelovým hodnotením na skutočnom tikete.

from copy import deepcopy
from decimal import Decimal
import math
import re

pages = [{"width": 595, "height": 842,
          "text": "Total: USD 1,200.50\nDelivery within 10 days"}]

def validate(candidate, pages):
    if set(candidate) != {"amount", "currency", "source"}:
        raise ValueError("unexpected or missing field")
    raw = candidate["amount"]
    if not isinstance(raw, str) or not re.fullmatch(r"(?:0|[1-9][0-9]*)\.[0-9]{2}", raw):
        raise ValueError("amount must be a two-decimal string")
    if candidate["currency"] != "USD":
        raise ValueError("unsupported currency for this contract")
    src = candidate["source"]
    if not isinstance(src, dict) or set(src) != {"page", "quote", "bbox"}:
        raise ValueError("source contract mismatch")
    number = src["page"]
    if type(number) is not int or not 1 <= number <= len(pages):
        raise ValueError("page outside document")
    page = pages[number - 1]
    quote = src["quote"]
    if not isinstance(quote, str) or not quote or quote not in page["text"]:
        raise ValueError("source quote not found")
    match = re.fullmatch(r"Total: USD ([0-9]{1,3}(?:,[0-9]{3})*\.[0-9]{2})", quote)
    if not match or Decimal(match[1].replace(",", "")) != Decimal(raw):
        raise ValueError("amount does not agree with source")
    box = src["bbox"]
    if (not isinstance(box, list) or len(box) != 4
            or any(type(v) not in (int, float) or not math.isfinite(v) for v in box)):
        raise ValueError("invalid box values")
    x0, y0, x1, y1 = box
    if not (0 <= x0 < x1 <= page["width"] and 0 <= y0 < y1 <= page["height"]):
        raise ValueError("box outside page or empty")
    return {"amount": str(Decimal(raw)), "currency": "USD", "source": deepcopy(src)}

good = {"amount": "1200.50", "currency": "USD", "source": {
    "page": 1, "quote": "Total: USD 1,200.50", "bbox": [40, 70, 260, 90]}}
assert validate(good, pages)["amount"] == "1200.50"
print("PASS valid source-linked amount: USD 1200.50")
bad_cases = []
wrong = deepcopy(good); wrong["amount"] = "12000.50"; bad_cases.append(wrong)
wrong = deepcopy(good); wrong["source"]["page"] = 2; bad_cases.append(wrong)
wrong = deepcopy(good); wrong["source"]["bbox"][2] = float("nan"); bad_cases.append(wrong)
wrong = deepcopy(good); wrong["source"]["bbox"][0] = 300; bad_cases.append(wrong)
for index, wrong in enumerate(bad_cases, 1):
    try:
        validate(wrong, pages)
        raise AssertionError("bad candidate accepted")
    except ValueError as error:
        print(f"PASS rejection {index}: {error}")

Prísne pravidlá sú prísne, pretože scéna je prísna

Tento bežný skript akceptuje iba anglický formát sumy v príklade. Odmietne nasledujúce situácie:

  • Európske desatinné číslo
  • Záporné číslo
  • Refundácie uvedené v zátvorkách
  • Iné meny
  • Neexistujú štvorciferné tisíciny

Skutočný systém by mal vyberať nezávislé zmluvy podľa typu dokumentu a regiónu, a nemal by svojvoľne mazať všetky čiarky, bodky a medzery.

Pred ďalším rozšírením vstupného rozsahu pripravte vzorky dopredu a odmietania pre každý povolený formát. Pri viacmenových bankovkách by mali polia samostatne zaznamenávať pôvodnú sumu v mene, menu a zdroj výmenného kurzu; Bez výmenného kurzu nemôžete sumu tajne prepočítať.

📊 Porovnanie jadra

Úroveň validácieOtázky, na ktoré je možné odpovedaťStále nezodpovedané otázky
Analýza JSONČi program dokáže obsah čítaťJe suma jednotková cena alebo celková suma a kde je mena?
Zmluva na ihriskuČi sú formát sumy, mena, rozsah čísel strán a súradnice legálneČi súradnicový rám presne uzatvára text
Overenie zdrojaČi sa v texte na aktuálnej stránke nachádza citát a či množstvo zodpovedá obmedzenému formátuČi banka predstavuje skutočnú konečnú sumu pre podnik

"Mať pôvod" neznamená "dokázané"

Program overuje, či citát existuje v texte aktuálnej stránky a či množstvo zodpovedá tomuto obmedzenému formátu. Neoveruje, či súradnicová krabica presne uzatvára pôvodný text, ani neurčuje, či čiara predstavuje skutočnú celkovú sumu v podnikaní. Textové vrstvy vyššie môžu pochádzať z nesprávnych OCR a na jednej stránke sa môže zobraziť viacero súčtov.

Preto je field kontrakt len prvou bránou. Následne sú potrebné kontroly konzistencie pozície, rozlišovanie kandidátov na rovnakej stránke, overovanie vzťahov daňového zostatku a manuálne náhodné kontroly. Dôležité obchodné údaje by mali byť uložené ako "čakajúce overenie" pred prechodom cez tieto brány, nie ako "potvrdené".

Ako to implementovať v pracovnom postupe dokumentov

Zachovajte pôvodný súhrn súboru, spracujte verziu pre každý extrahovaný záznam a uložte dôvod zamietnutia. Prekladateľský proces by mal tiež využívať rovnaký terénny audit: hlavný text môže byť nahradený v iných jazykoch, ale nesmie sa stratiť zhoda medzi dôležitými sumami a jednotkami. O súvisiacich dokumentačných službách sa môžete dozvedieť prostredníctvom Záznam produktu OmniDoc; Zmluvy a kód v tomto článku sú nezávislé od produktového API a nespoliehajú sa na žiadne nepublikované rozhrania.

🎯 Ktorý prístup ti vyhovuje?

Ak potrebujete riešiť viacmenové bankovky

Pôvodnú sumu a menu uchovávajte oddelene a zaznamenávajte zdroj výmenného kurzu. Konverzia sa nevykonáva, ak nie je výmenný kurz.

Ak chcete rozšíriť rozsah vstupných formátov

Najprv napíšte príklady dopredu a odmietnite pre každý formát, potom uvoľnite pravidlá bez priameho uvoľnenia regexu.

Či budú údaje použité na finančné alebo obchodné rozhodnutia

Označte polia ako čakajúce na overenie a potvrďte po konzistencii umiestnenia, rozlíšení na rovnakej stránke a manuálnej náhodnej kontrole.

Ak chcete prekladať dokumenty

Hlavný text môže byť jazykovo zmenený, ale korešpondencia medzi sumou a jednotkou musí byť auditovaná pomocou toho istého poľa.

❓ Často kladené otázky (FAQ)

1. Ak sa dá JSON analyzovať, môže byť priamo uložený v databáze?

Nie. Parsovanie iba znamená, že obsah môže program čítať, a zároveň vyžaduje terénne kontrakty a overovanie dôkazov.

2. Program overí ponuku, znamená to, že suma je určite správna?

Nie. Iba overuje, či v texte na aktuálnej stránke existujú úvodzovky a či suma zodpovedá obmedzenému formátu, bez overovania významu súradnicových políčok alebo celkovej sumy v podniku.

3. Prečo sa chýbajúce množstvo nedá považovať za 0?

Chýbajúce množstvo, neúspešné overenie a skutočná nula sú tri rôzne stavy, a ich zmiešanie znemožňuje používateľom v ďalšom reťazci ich rozlíšiť.

4. Ako by sa mali zaobchádzať s viacmenovými bankovkami?

Pôvodná mena a mena sa uchovávajú oddelene. Neprevádzajte sumy bez výmenného kurzu a ponechajte si zdroj výmenného kurzu.

📝 Zhrnutie

Aby boli výsledky extrakcie použiteľné, závisí to od zmlúv, dôkazov a akceptácie, nie od samotného formátu JSON. Každé pole by malo byť sledovateľné späť na stránku v dokumente a údaje, ktoré neboli skontrolované, čakajú na overenie.

Vyskúšajte to teraz: Nahrajte svoj dokument a začnite prekladať, pričom zachovajte pôvodné formátovanie

Aktualizované 2026-11-17