L'elaborazione del documento scade, non lasciare che un'attività trascini l'intero batch

Quando si elaborano documenti in batch, la cosa più problematica spesso non è l'errore di un singolo file, ma il fatto che un'attività sia bloccata e tutte le attività successive vengano interrotte nella coda. Ad esempio, se un PDF scansionato è bloccato, le novantanove attività successive non verranno spostate. L'aggiunta di un timeout alla richiesta sembra risolvere questo problema.

Ma il timeout non significa che l'attività sia terminata. I processi potrebbero essere ancora in esecuzione in background e continuare a occupare memoria, oppure il prodotto potrebbe essere solo a metà. Il timeout include almeno tre azioni: interrompere l'attesa, interrompere l'esecuzione e contrassegnare il prodotto come non consegnabile. Dopo aver letto questo articolo, dovresti essere in grado di determinare quali prove devono essere registrate dopo il timeout, in quali circostanze è appropriato riprovare e come separare il tempo di attesa del client dallo stato dell'attività remota.

Questo articolo utilizza campioni sintetici per dimostrare il metodo di elaborazione. Il codice è stato controllato con esempi in un ambiente isolato e non è una garanzia di tutti i file reali o delle prestazioni del prodotto. Prima di elaborare documenti importanti, conservare gli originali e rivederli rispettando i limiti e gli elementi di accettazione nel testo.

Conclusione in una frase

Il timeout dell'attività batch deve essere suddiviso in tre elementi: interrompere l'attesa, interrompere l'esecuzione e contrassegnare il prodotto come non consegnabile. Il "timeout di attesa" non può essere considerato direttamente come "attività terminata".

la tua situazione	Pratiche consigliate	motivo
Voglio solo evitare che la pagina o la coda si blocchino	Interrompi l'attesa e interroga lo stato delle attività note	Interrompere l'attesa non significa che l'attività remota è terminata
Preoccuparti che i processi in background occupino memoria	Confermare che la terminazione sia completa e isolarla con un gruppo di processi, un contenitore o un oggetto lavoro, se necessario	`subprocess.run(timeout=...)` è valido per i processi figli diretti e non può essere generalizzato al fatto che l'intero albero dei processi è stato ripulito
Il prodotto può essere un prodotto semilavorato	Contrassegna il prodotto temporaneo come non consegnabile e non condividere lo stato con il risultato ufficiale	Il risultato dell'arrivo in ritardo dopo il timeout non può modificare direttamente l'attività in modo positivo.
Timeout ripetuti per lo stesso input	Isola i campioni e controlla la complessità senza tentativi illimitati	Un nuovo tentativo ha senso solo se l'errore è recuperabile e la chiamata è opportunamente idempotente.

Attendere il timeout non significa che il lavoro è stato terminato

Il timeout riguarda solo il chiamante

subprocess.run(timeout=...) può far scadere il timeout dei processi secondari diretti, ma non garantisce che l'albero dei processi sia stato ripulito. Diversi sistemi operativi, metodi di avvio e comportamento del processo nipote influenzeranno i risultati. Per i comportamenti correlati, fare riferimento a Comportamento di timeout del sottoprocesso Python.

L'ambiente di produzione richiede una strategia di isolamento

Le implementazioni di produzione di solito richiedono mezzi di isolamento come gruppi di processi, contenitori o oggetti lavoro per garantire che il lavoro correlato venga effettivamente interrotto dopo un timeout.

Per prima cosa scrivi chiaramente il contratto sullo stato dell'attività

Quanto segue simula solo la determinazione dello stato, non avvia comandi esterni e non sospende intenzionalmente il processo. Il punto chiave della sua dimostrazione è: una volta raggiunta la scadenza, anche se un'unità di lavoro arriva in ritardo con un risultato, l'attività scaduta non può essere modificata direttamente in successo.

from dataclasses import dataclass

@dataclass(frozen=True)
class Decision:
    state: str
    deliver: bool
    terminate_requested: bool

def decide(now, deadline, worker_done, artifact_valid):
    if now >= deadline:
        return Decision("timed_out", False, not worker_done)
    if not worker_done:
        return Decision("processing", False, False)
    if not artifact_valid:
        return Decision("invalid_artifact", False, False)
    return Decision("verified", True, False)

assert decide(9, 10, False, False).state == "processing"
assert decide(10, 10, False, False).terminate_requested
assert not decide(11, 10, True, True).deliver
assert decide(9, 10, True, True).deliver
assert decide(9, 10, True, False).state == "invalid_artifact"

Questo protocollo seleziona un timeout pari alla scadenza. Puoi anche usare un altro limite, ma dovrebbe essere scritto nel test. I confronti in tempo reale dovrebbero utilizzare un orologio monotono appropriato all'intervallo di calcolo e non consentire regolazioni del fuso orario del sistema o dell'orologio a muro per modificare il budget dell'attività.

📊 Confronto fondamentale

azione	Problema risolto	Cose che necessitano ancora di attenzione
smetti di aspettare	Il chiamante non è più bloccato	Il lavoro remoto o in background potrebbe essere ancora in corso
Interrompere l'esecuzione	Rilasciare le risorse occupate dal processo	Terminare la richiesta non significa uscire e richiede conferma.
Contrassegna il prodotto come non consegnabile	Evitare che i semilavorati vengano consegnati per errore	È necessario salvare lo stato separatamente dai risultati ufficiali

Quali prove rimangono dopo il timeout?

Dopo che si verifica un timeout, non è possibile registrare un solo timeout nel registro. Le seguenti informazioni possono aiutarti a determinare dove si trova il problema:

Cosa devi sapere	utilizzo	Avviso
fase di timeout	Distinguere tra download, analisi o traduzione	Ricorda non solo un timeout
La rescissione è confermata?	Evita il lavoro residuo in background	Richiedere la risoluzione non significa uscire
identità temporanea del prodotto	Evitare consegne errate di semilavorati	Non condivide lo stato con i risultati ufficiali
Numero di tentativi	Controllare il budget complessivo	Il tempo illimitato non può essere recuperato ogni volta

Il nuovo tentativo non è un passaggio successivo automatico

Controlla innanzitutto se le risorse vengono esaurite ripetutamente nello stesso passaggio

Se lo stesso input consuma risorse ogni volta nello stesso passaggio, dovresti isolare il campione e risolvere il problema di complessità invece di continuare a riprovare.

Distinguere tra due tipi di prompt

Gli utenti dovrebbero essere in grado di distinguere tra due situazioni:

Il servizio è occupato, nuovo tentativo: puoi attendere.
L'input non è supportato e deve essere elaborato: è richiesto l'intervento manuale o la sostituzione dell'input.

🎯Quale metodo è adatto a te?

Se stai elaborando grandi batch di documenti

Imposta una scadenza indipendente per ogni attività. Dopo che una singola attività scade, contrassegna solo se stessa e non arresta l'intero batch.

Se sei preoccupato per le perdite di risorse

Dopo il timeout, verificare se la terminazione è effettivamente completata e isolarla a livello di contenitore o gruppo di processi. Non fare affidamento solo sul timeout del processo figlio diretto.

Se desideri connetterti a una piattaforma di traduzione online

Il tempo di attesa del client, lo stato di elaborazione della piattaforma e lo stato di download dei file devono essere rappresentati separatamente. Controlla le attività note prima di fare nuovamente clic per evitare un consumo ripetuto.

❓ Domande frequenti (FAQ)

1. Se alla richiesta viene aggiunto un timeout, perché l'esecuzione dovrebbe essere interrotta?

Dopo il timeout, il processo di elaborazione potrebbe essere ancora in esecuzione in background e occupare memoria. Interrompere l'attesa non rilascerà automaticamente queste risorse.

2. L'attività fallirà definitivamente dopo il timeout?

incerto. Tuttavia, il risultato tardivo dopo il timeout non può trasformare direttamente l'attività in successo e deve essere determinato in base al contratto di stato.

3. Quando è opportuno riprovare?

Un nuovo tentativo ha senso solo se la causa dell'errore è recuperabile e la chiamata è opportunamente idempotente. Se lo stesso input consuma risorse ogni volta nella stessa fase, dovrebbe essere prima isolato e indagato.

4. Quali prove dovrebbero essere registrate dopo il timeout?

Registrare almeno la fase di timeout, se la risoluzione è confermata, l'identità del prodotto temporaneo e il numero di tentativi.

📝 Riepilogo

La chiave per il timeout è gestire separatamente "interruzione dell'attesa", "interruzione dell'esecuzione" e "se il prodotto può essere consegnato". Se lo stato dell'attività è chiaro, il batch non verrà ritardato di un singolo file.

Provalo subito: carica il documento per iniziare la traduzione, mantenendo il layout originale