Extrakcia do JSON neznamená, že extrakcia je správna: vytvorte zmluvy o množstve, jednotke a zdroji
Len preto, že výsledok extrakcie je možné previesť na JSON, neznamená to, že extrakcia je správna. Tento článok používa desiatkové a poliové zmluvy na kontrolu množstva, jednotky, čísla strany, pôvodného textu a súradníc a pripája deterministické testy pre normálny vstup a abnormálny vstup, aby bolo možné chyby zastaviť skôr, ako sa dostanú do downstreamu.
To, že výsledok extrakcie môže byť analyzovaný pomocou JSON, neznamená, že môže byť priamo uložený v databáze. Tento článok je napísaný pre vývojárov, ktorí potrebujú posielať údaje o faktúrach a cenových ponukách do nadradených systémov. Na demonštráciu prísnejších hraníc používame syntetický fragment citácie: každé pole má okrem hodnoty aj jednotku, zdrojovú stránku, zdrojový text a súradnice. Analyzátor alebo model je zodpovedný iba za navrhovanie kandidátov a deterministický overovateľ určuje, či ich možno zahrnúť do databázy.
Po prečítaní tohto budete schopní pochopiť myšlienku súboru zmlúv o poli a vedieť, ako explicitne zachovať chýbajúce a neisté polia namiesto toho, aby ste ich štandardne vyplnili nulou.
Môžu byť výsledky extrakcie uložené priamo v databáze? Záver jednou vetou
To, či ho možno vložiť do databázy, závisí skôr od toho, či zmluva v teréne a overenie dôkazov prejdú, ako od toho, či je možné analyzovať JSON; polia, ktoré sa nepodarilo overiť, by mali zostať v stave čakania a nemôžu byť predvolene vyplnené nulou.
| vaša situácia | Odporúčané postupy | dôvod |
|---|---|---|
| Analyzátor vrátil platný JSON | Pokračujte v overovaní zmluvy v teréne a neukladajte ju priamo do databázy. | JSON znamená iba to, že ho program dokáže prečítať |
| Suma nemá žiadnu menu ani jednotku | Nepreberajte menu, ponechajte si chýbajúci stav | Vyhnite sa tajnému prevzatiu RMB |
Suma sa zobrazuje v regionálnych formátoch, ako je 1.200,50 | Definujte zmluvy samostatne pre každý povolený formát | S regionálnymi pravidlami sa nedá zaobchádzať nenútene a jednotne |
| Musíte sa vrátiť k dokumentu a skontrolovať ho | Uložte si čísla strán, zdrojový text a súradnice a skontrolujte rozsahy čísel strán | Uľahčite recenzentom základňu umiestnenia |
| Zahŕňa viacero mien alebo výmenných kurzov | Pôvodná suma meny, typ meny a zdroj výmenného kurzu sa zachovajú a nevykoná sa žiadna implicitná konverzia. | Čiastky nie je možné previesť bez výmenných kurzov |
Odovzdajte hodnotu spolu s dôkazmi
Odovzdajte faktúru alebo cenovú ponuku syntaktickému analyzátoru a JSON, ktorý dostanete späť, vám len povie, že ho program dokáže prečítať. 1200 Je to jednotková cena alebo celková suma? Kde je mena? 1.200,50 treba chápať podľa akých regionálnych pravidiel? Naozaj existuje vrátené číslo strany? Toto nie sú otázky, na ktoré môže syntax JSON odpovedať.
| Pole | obmedzenie | prečo treba |
|---|---|---|
| čiastka | Desatinný reťazec, príklad obmedzený na nezáporné a dve desatinné miesta | Vyhnite sa neúmyselnému zavedeniu binárnych aproximácií s pohyblivou rádovou čiarkou |
| currency | Tento scenár je obmedzený na USD | Nepredpokladajte tajne RMB, keď nemáte menu |
| source.page | Začínajúc od 1 a neprekračujúc počet strán | Uľahčiť používateľom návrat na pôvodné miesto dokumentu |
| source.quote | Musí ísť o fragment priamo na stránke poskytnutý volajúcim | Poskytuje základ pre opätovné preskúmanie |
| source.bbox | Obmedzená hodnota v rámci rozsahu strán | Zabrániť tomu, aby prázdne rámce a neplatné súradnice boli vydávané za dôkaz |
Súradnicová jednotka je tu PDF bod, s počiatkom v ľavom hornom rohu aktuálne dohodnutej stránky. Upstream by mal najprv zjednotiť rotáciu, orezávanie a súradnicové systémy; súradnice z rôznych parserov by sa nemali miešať priamo. Tento príklad iba demonštruje konvenciu a nedokazuje, že text je skutočne obsiahnutý v boxe.
Kompletné testovanie validácie a zamietnutia
Beží iba pomocou štandardnej knižnice Pythonu. Decimal by mal byť zostavený z reťazca; nekonvertujte najprv na float pred odovzdaním. Presné desatinné spracovanie súm nájdete v Python desiatková dokumentácia.
Nasledujúci kód je skutočný výstup testu, nie správa o presnosti rozpoznávania. Ukážkový vstup sme ručne napísali my a neprešiel OCR ani modelovým hodnotením na skutočnom tikete.
from copy import deepcopy
from decimal import Decimal
import math
import re
pages = [{"width": 595, "height": 842,
"text": "Total: USD 1,200.50\nDelivery within 10 days"}]
def validate(candidate, pages):
if set(candidate) != {"amount", "currency", "source"}:
raise ValueError("unexpected or missing field")
raw = candidate["amount"]
if not isinstance(raw, str) or not re.fullmatch(r"(?:0|[1-9][0-9]*)\.[0-9]{2}", raw):
raise ValueError("amount must be a two-decimal string")
if candidate["currency"] != "USD":
raise ValueError("unsupported currency for this contract")
src = candidate["source"]
if not isinstance(src, dict) or set(src) != {"page", "quote", "bbox"}:
raise ValueError("source contract mismatch")
number = src["page"]
if type(number) is not int or not 1 <= number <= len(pages):
raise ValueError("page outside document")
page = pages[number - 1]
quote = src["quote"]
if not isinstance(quote, str) or not quote or quote not in page["text"]:
raise ValueError("source quote not found")
match = re.fullmatch(r"Total: USD ([0-9]{1,3}(?:,[0-9]{3})*\.[0-9]{2})", quote)
if not match or Decimal(match[1].replace(",", "")) != Decimal(raw):
raise ValueError("amount does not agree with source")
box = src["bbox"]
if (not isinstance(box, list) or len(box) != 4
or any(type(v) not in (int, float) or not math.isfinite(v) for v in box)):
raise ValueError("invalid box values")
x0, y0, x1, y1 = box
if not (0 <= x0 < x1 <= page["width"] and 0 <= y0 < y1 <= page["height"]):
raise ValueError("box outside page or empty")
return {"amount": str(Decimal(raw)), "currency": "USD", "source": deepcopy(src)}
good = {"amount": "1200.50", "currency": "USD", "source": {
"page": 1, "quote": "Total: USD 1,200.50", "bbox": [40, 70, 260, 90]}}
assert validate(good, pages)["amount"] == "1200.50"
print("PASS valid source-linked amount: USD 1200.50")
bad_cases = []
wrong = deepcopy(good); wrong["amount"] = "12000.50"; bad_cases.append(wrong)
wrong = deepcopy(good); wrong["source"]["page"] = 2; bad_cases.append(wrong)
wrong = deepcopy(good); wrong["source"]["bbox"][2] = float("nan"); bad_cases.append(wrong)
wrong = deepcopy(good); wrong["source"]["bbox"][0] = 300; bad_cases.append(wrong)
for index, wrong in enumerate(bad_cases, 1):
try:
validate(wrong, pages)
raise AssertionError("bad candidate accepted")
except ValueError as error:
print(f"PASS rejection {index}: {error}")
Prísne pravidlá sú prísne, pretože scéna je prísna
Tento bežný skript akceptuje iba anglický formát sumy v príklade. Odmietne nasledujúce situácie:
- Európske desatinné číslo
- Záporné číslo
- Refundácie uvedené v zátvorkách
- Iné meny
- Neexistujú štvorciferné tisíciny
Skutočný systém by mal vyberať nezávislé zmluvy podľa typu dokumentu a regiónu, a nemal by svojvoľne mazať všetky čiarky, bodky a medzery.
Pred ďalším rozšírením vstupného rozsahu pripravte vzorky dopredu a odmietania pre každý povolený formát. Pri viacmenových bankovkách by mali polia samostatne zaznamenávať pôvodnú sumu v mene, menu a zdroj výmenného kurzu; Bez výmenného kurzu nemôžete sumu tajne prepočítať.
📊 Porovnanie jadra
| Úroveň validácie | Otázky, na ktoré je možné odpovedať | Stále nezodpovedané otázky |
|---|---|---|
| Analýza JSON | Či program dokáže obsah čítať | Je suma jednotková cena alebo celková suma a kde je mena? |
| Zmluva na ihrisku | Či sú formát sumy, mena, rozsah čísel strán a súradnice legálne | Či súradnicový rám presne uzatvára text |
| Overenie zdroja | Či sa v texte na aktuálnej stránke nachádza citát a či množstvo zodpovedá obmedzenému formátu | Či banka predstavuje skutočnú konečnú sumu pre podnik |
"Mať pôvod" neznamená "dokázané"
Program overuje, či citát existuje v texte aktuálnej stránky a či množstvo zodpovedá tomuto obmedzenému formátu. Neoveruje, či súradnicová krabica presne uzatvára pôvodný text, ani neurčuje, či čiara predstavuje skutočnú celkovú sumu v podnikaní. Textové vrstvy vyššie môžu pochádzať z nesprávnych OCR a na jednej stránke sa môže zobraziť viacero súčtov.
Preto je field kontrakt len prvou bránou. Následne sú potrebné kontroly konzistencie pozície, rozlišovanie kandidátov na rovnakej stránke, overovanie vzťahov daňového zostatku a manuálne náhodné kontroly. Dôležité obchodné údaje by mali byť uložené ako "čakajúce overenie" pred prechodom cez tieto brány, nie ako "potvrdené".
Ako to implementovať v pracovnom postupe dokumentov
Zachovajte pôvodný súhrn súboru, spracujte verziu pre každý extrahovaný záznam a uložte dôvod zamietnutia. Prekladateľský proces by mal tiež využívať rovnaký terénny audit: hlavný text môže byť nahradený v iných jazykoch, ale nesmie sa stratiť zhoda medzi dôležitými sumami a jednotkami. O súvisiacich dokumentačných službách sa môžete dozvedieť prostredníctvom Záznam produktu OmniDoc; Zmluvy a kód v tomto článku sú nezávislé od produktového API a nespoliehajú sa na žiadne nepublikované rozhrania.
🎯 Ktorý prístup ti vyhovuje?
Ak potrebujete riešiť viacmenové bankovky
Pôvodnú sumu a menu uchovávajte oddelene a zaznamenávajte zdroj výmenného kurzu. Konverzia sa nevykonáva, ak nie je výmenný kurz.
Ak chcete rozšíriť rozsah vstupných formátov
Najprv napíšte príklady dopredu a odmietnite pre každý formát, potom uvoľnite pravidlá bez priameho uvoľnenia regexu.
Či budú údaje použité na finančné alebo obchodné rozhodnutia
Označte polia ako čakajúce na overenie a potvrďte po konzistencii umiestnenia, rozlíšení na rovnakej stránke a manuálnej náhodnej kontrole.
Ak chcete prekladať dokumenty
Hlavný text môže byť jazykovo zmenený, ale korešpondencia medzi sumou a jednotkou musí byť auditovaná pomocou toho istého poľa.
❓ Často kladené otázky (FAQ)
1. Ak sa dá JSON analyzovať, môže byť priamo uložený v databáze?
Nie. Parsovanie iba znamená, že obsah môže program čítať, a zároveň vyžaduje terénne kontrakty a overovanie dôkazov.
2. Program overí ponuku, znamená to, že suma je určite správna?
Nie. Iba overuje, či v texte na aktuálnej stránke existujú úvodzovky a či suma zodpovedá obmedzenému formátu, bez overovania významu súradnicových políčok alebo celkovej sumy v podniku.
3. Prečo sa chýbajúce množstvo nedá považovať za 0?
Chýbajúce množstvo, neúspešné overenie a skutočná nula sú tri rôzne stavy, a ich zmiešanie znemožňuje používateľom v ďalšom reťazci ich rozlíšiť.
4. Ako by sa mali zaobchádzať s viacmenovými bankovkami?
Pôvodná mena a mena sa uchovávajú oddelene. Neprevádzajte sumy bez výmenného kurzu a ponechajte si zdroj výmenného kurzu.
📝 Zhrnutie
Aby boli výsledky extrakcie použiteľné, závisí to od zmlúv, dôkazov a akceptácie, nie od samotného formátu JSON. Každé pole by malo byť sledovateľné späť na stránku v dokumente a údaje, ktoré neboli skontrolované, čakajú na overenie.


