Vypršel časový limit zpracování dokumentu, nenechte jednu úlohu přetáhnout celou dávku

Při zpracování dokumentů v dávkách není nejproblematičtější věcí často chyba jednoho souboru, ale zaseknutí jedné úlohy a zastavení všech následujících úloh ve frontě. Pokud se například naskenovaný soubor PDF zasekne, dalších devadesát devět úkolů se nepohne. Zdá se, že tento problém vyřeší přidání časového limitu k požadavku.

Časový limit však neznamená, že úloha skončila. Procesy mohou stále běžet na pozadí a nadále zabírat paměť, nebo může být produkt pouze zpola hotový. Časový limit zahrnuje alespoň tři akce: zastavit čekání, zastavit provádění a označit produkt jako nedoručitelný. Po přečtení tohoto článku byste měli být schopni určit, jaké důkazy je třeba po vypršení časového limitu zaznamenat, za jakých okolností je vhodné pokus opakovat a jak oddělit dobu čekání klienta od stavu vzdálené úlohy.

Tento článek používá syntetické vzorky k demonstraci metody zpracování. Kód byl zkontrolován s příklady v izolovaném prostředí a není zárukou všech skutečných souborů nebo výkonu produktu. Před zpracováním důležitých dokumentů si prosím uschovejte originály a zkontrolujte je podle hranic a přejímacích položek v textu.

Závěr jednou větou

Časový limit dávkové úlohy by měl být rozdělen do tří věcí: zastavit čekání, zastavit provádění a označit produkt jako nedoručitelný. „Časový limit čekání"nelze přímo považovat za „úkol ukončen".

Čekání na časový limit neznamená, že práce byla ukončena

Časový limit má vliv pouze na volajícího

subprocess.run(timeout=...) může vypršet časový limit přímých podřízených procesů, ale nezaručuje, že byl vyčištěn jakýkoli strom procesů. Výsledky ovlivní různé operační systémy, metody spouštění a chování procesu vnuka. Související chování naleznete v Chování podprocesů v Pythonu při časovém limitu.

Produkční prostředí vyžaduje strategii izolace

Produkční implementace obvykle vyžadují izolační prostředky, jako jsou skupiny procesů, kontejnery nebo objekty úloh, aby bylo zajištěno, že související práce se po uplynutí časového limitu skutečně zastaví.

Nejprve jasně napište smlouvu o stavu úkolu

Následující pouze simuluje určení stavu, nespouští externí příkazy a záměrně nepozastavuje proces. Klíčovým bodem jeho demonstrace je: po dosažení termínu, i když pracovní jednotka dorazí se zpožděním s výsledkem, nelze časově limitovaný úkol přímo změnit na úspěch.

from dataclasses import dataclass

@dataclass(frozen=True)
class Decision:
    state: str
    deliver: bool
    terminate_requested: bool

def decide(now, deadline, worker_done, artifact_valid):
    if now >= deadline:
        return Decision("timed_out", False, not worker_done)
    if not worker_done:
        return Decision("processing", False, False)
    if not artifact_valid:
        return Decision("invalid_artifact", False, False)
    return Decision("verified", True, False)

assert decide(9, 10, False, False).state == "processing"
assert decide(10, 10, False, False).terminate_requested
assert not decide(11, 10, True, True).deliver
assert decide(9, 10, True, True).deliver
assert decide(9, 10, True, False).state == "invalid_artifact"

Tento protokol vybere časový limit rovný termínu. Můžete použít i jinou hranici, ale ta by měla být zapsána do testu. Porovnání v reálném čase by mělo používat monotónní hodiny vhodné pro interval výpočtu a neumožňovat úpravy systémového časového pásma nebo nástěnných hodin, aby změnily rozpočet úkolu.

📊 Srovnání jádra

Jaké důkazy zůstanou po uplynutí času?

Po uplynulém časovém limitu nemůžete do záznamu zaznamenat pouze jeden časový limit. Následující informace vám mohou pomoci určit, kde problém leží:

Opakování není automatický další krok

Když jsou zdroje opakovaně vyčerpány ve stejném kroku, nejdřív zkontrolujte

Pokud stejný vstup vyčerpává zdroje ve stejném kroku pokaždé, izolujte vzorek a zkontrolujte složitost místo opakovaného pokusu.

Rozlišení dvou typů spropitných

Uživatelé by měli být schopni rozlišit mezi dvěma scénáři:

• Služba obsazena, zkouším znovu: Můžete počkat.
• Vstup není podporován, je třeba ho zpracovat: Vyžaduje manuální zásah nebo nahrazení vstupu.

🎯 Která metoda ti vyhovuje?

Pokud pracujete s velkým množstvím dokumentů

Každý úkol má nastaven nezávislý časový limit; když jeden úkol překročí, pouze on se označí, čímž se zabrání zastavení celé dávky.

Pokud se bojíš úniků zdrojů

Po vypršení času potvrďte, zda je ukončení skutečně dokončeno, a izolujte na úrovni kontejneru nebo skupiny procesů, místo abyste se spoléhali pouze na časové limity z přímých podprocesů.

Pokud se chcete spojit s online překladatelskými platformami

Doba čekání klienta, stav zpracování platformy a stav stahování souborů by měly být uvedeny samostatně. Před dalším kliknutím zkontrolujte známé úkoly, abyste předešli duplicitní spotřebě.

❓ Často kladené otázky (FAQ)

1. Pokud je požadavek vypršel, proč zastavit vykonávání úkolu?

Po uplynutí časového limitu může zpracování stále běžet na pozadí a spotřebovávat paměť; zastavení čekání automaticky neuvolní tyto zdroje.

2. Je mise zaručeně po uplynutí časového limitu zaručeně neúspěšná?

Nemusí to tak být. Pokud je však úkol po uplynutí lhůty odložen, nelze jej přímo změnit na úspěšný úkol; musí být určen podle statusové smlouvy.

3. Kdy je vhodné to zkusit znovu?

Opakování má smysl pouze tehdy, když lze obnovit příčinu selhání a hovor má odpovídající idempotenci. Pokud stejný vstup vyčerpává zdroje ve stejném kroku pokaždé, měla by se nejprve izolace a řešení problémů provést.

4. Jaké důkazy by měly být zaznamenány po uplynutí této doby?

Minimálně zaznamenejte fázi vypršení času, zda bylo potvrzeno ukončení, dočasnou identitu produktu a počet potřebných pokusů.

📝 Shrnutí

Klíčem k timeoutům je oddělit "zastavit čekání", "zastavit provádění" a "zda je produkt dodatelný". Jakmile je stav úkolu vyčištěn, dávky nebudou stahovány dolů jedním souborem.

Zkušenost nyní: Nahrajte svůj dokument a začněte s překladem, přičemž zachováte původní formátování