Upłynął limit czasu przetwarzania dokumentu, nie pozwól, aby jedno zadanie przeciągnęło całą partię

Podczas przetwarzania dokumentów wsadowo najbardziej uciążliwym problemem często nie jest błąd pojedynczego pliku, ale to, że jedno zadanie zostaje zablokowane, a wszystkie kolejne zadania zatrzymują się w kolejce. Na przykład, jeśli zeskanowany plik PDF utknął, kolejnych dziewięćdziesiąt dziewięć zadań nie zostanie przeniesionych. Wydaje się, że dodanie limitu czasu do żądania rozwiązuje ten problem.

Ale przekroczenie limitu czasu nie oznacza, że zadanie zostało zakończone. Procesy mogą nadal działać w tle i nadal zajmować pamięć, lub produkt może być dopiero w połowie ukończony. Limit czasu obejmuje co najmniej trzy akcje: zatrzymanie oczekiwania, zatrzymanie wykonywania i oznaczenie produktu jako niemożliwego do dostarczenia. Po przeczytaniu tego artykułu powinieneś być w stanie określić, jakie dowody należy zarejestrować po przekroczeniu limitu czasu, w jakich okolicznościach należy ponowić próbę i jak oddzielić czas oczekiwania klienta od statusu zadania zdalnego.

W tym artykule wykorzystano próbki syntetyczne w celu zademonstrowania metody przetwarzania. Kod został sprawdzony na przykładach w izolowanym środowisku i nie stanowi gwarancji działania wszystkich rzeczywistych plików ani działania produktu. Przed przystąpieniem do przetwarzania ważnych dokumentów prosimy o zachowanie oryginałów i zapoznanie się z nimi zgodnie z granicami i pozycjami akceptacji w tekście.

Konkluzja w jednym zdaniu

Limit czasu zadania wsadowego należy podzielić na trzy elementy: zatrzymanie oczekiwania, zatrzymanie wykonywania i oznaczenie produktu jako niemożliwego do dostarczenia. „Limitu czasu oczekiwania"nie można bezpośrednio uznać za „zadanie zakończone".

twoja sytuacja	Zalecane praktyki	powód
Chcę tylko zapobiec utknięciu strony lub kolejki	Przestań czekać i zapytaj o znany stan zadania	Przerwanie oczekiwania nie oznacza zakończenia zadania zdalnego
Martw się, że procesy w tle zajmują pamięć	Potwierdź, że zakończenie zostało zakończone i, jeśli to konieczne, odizoluj je za pomocą grupy procesów, kontenera lub obiektu zadania	`subprocess.run(timeout=...)` obowiązuje dla bezpośrednich procesów potomnych i nie można go uogólniać na fakt, że całe drzewo procesów zostało wyczyszczone
Produkt może być półproduktem	Oznacz produkt tymczasowy jako niedostarczalny i nie udostępniaj statusu oficjalnego wyniku	Wynik spóźnienia po przekroczeniu limitu czasu nie może bezpośrednio zmienić zadania na sukces.
Powtarzające się limity czasu dla tego samego wejścia	Izoluj próbki i sprawdzaj złożoność bez nieograniczonej liczby prób	Ponowna próba ma sens tylko wtedy, gdy awarię można naprawić, a wywołanie jest odpowiednio idempotentne.

Oczekiwanie na przekroczenie limitu czasu nie oznacza, że praca została zakończona

Limit czasu dotyczy tylko osoby dzwoniącej

subprocess.run(timeout=...) może przekroczyć limit czasu bezpośrednich procesów potomnych, ale nie gwarantuje, że jakiekolwiek drzewo procesów zostało wyczyszczone. Różne systemy operacyjne, metody uruchamiania i zachowanie procesów wnuków będą miały wpływ na wyniki. Informacje na temat powiązanych zachowań można znaleźć w Zachowanie limitu czasu podprocesu Pythona.

Środowisko produkcyjne wymaga strategii izolacji

Wdrożenia produkcyjne zwykle wymagają środków izolacji, takich jak grupy procesów, kontenery lub obiekty zadań, aby mieć pewność, że powiązana praca faktycznie zostanie zatrzymana po przekroczeniu limitu czasu.

Najpierw wyraźnie napisz umowę o statusie zadania

Poniższe symuluje jedynie określenie statusu, nie uruchamia poleceń zewnętrznych i nie zawiesza celowo procesu. Kluczowym punktem jego demonstracji jest to, że po osiągnięciu terminu, nawet jeśli jednostka robocza spóźni się z wynikiem, zadania, które przekroczyło limit czasu, nie można bezpośrednio zmienić na sukces.

from dataclasses import dataclass

@dataclass(frozen=True)
class Decision:
    state: str
    deliver: bool
    terminate_requested: bool

def decide(now, deadline, worker_done, artifact_valid):
    if now >= deadline:
        return Decision("timed_out", False, not worker_done)
    if not worker_done:
        return Decision("processing", False, False)
    if not artifact_valid:
        return Decision("invalid_artifact", False, False)
    return Decision("verified", True, False)

assert decide(9, 10, False, False).state == "processing"
assert decide(10, 10, False, False).terminate_requested
assert not decide(11, 10, True, True).deliver
assert decide(9, 10, True, True).deliver
assert decide(9, 10, True, False).state == "invalid_artifact"

Protokół ten wybiera limit czasu równy ostatecznemu terminowi. Można też zastosować inną granicę, ale należy to zapisać w teście. Do porównań w czasie rzeczywistym należy używać zegara monotonicznego odpowiedniego do przedziału obliczeniowego i nie pozwalać na zmianę strefy czasowej systemu lub zegara ściennego w celu zmiany budżetu zadania.

📊 Porównanie rdzeni

działanie	Problem rozwiązany	Rzeczy, które wciąż wymagają uwagi
przestań czekać	Osoba dzwoniąca nie jest już unieruchomiona	Praca zdalna lub praca w tle może nadal trwać
Zatrzymaj wykonanie	Zwolnij zasoby zajęte przez proces	Zakończenie żądania nie oznacza wyjścia i wymaga potwierdzenia.
Oznacz produkt jako niedostarczalny	Zapobiegaj przypadkowemu dostarczeniu półproduktów	Należy zapisać status oddzielnie od oficjalnych wyników

Jakie dowody pozostają po przekroczeniu limitu czasu?

Po upływie limitu czasu w dzienniku nie można zapisać tylko jednego przekroczenia limitu czasu. Poniższe informacje mogą pomóc w ustaleniu, gdzie leży problem:

Co musisz wiedzieć	używać	Ogłoszenie
faza przekroczenia limitu czasu	Rozróżnij pobieranie, analizowanie i tłumaczenie	Pamiętaj, nie tylko o jednej przerwie
Czy wypowiedzenie zostało potwierdzone?	Zapobiegaj resztkom pracy w tle	Żądanie zakończenia nie oznacza wyjścia
tymczasowa tożsamość produktu	Unikaj błędnych dostaw półproduktów	Nie udostępnia statusu z oficjalnymi wynikami
Liczba ponownych prób	Kontroluj ogólny budżet	Nieograniczonego czasu nie można odzyskać za każdym razem

Ponowienie próby nie jest automatycznym kolejnym krokiem

Sprawdź najpierw, czy zasoby nie wyczerpują się wielokrotnie w tym samym kroku

Jeśli te same dane wejściowe zużywają zasoby za każdym razem w tym samym kroku, zamiast ponawiać próby, należy wyizolować próbkę i rozwiązać problem ze złożonością.

Rozróżnij dwa typy podpowiedzi

Użytkownicy powinni być w stanie rozróżnić dwie sytuacje:

Usługa jest zajęta, ponawiam próbę: Możesz poczekać.
Wejście nie jest obsługiwane i wymaga przetworzenia: Wymagana jest ręczna interwencja lub wymiana wejścia.

🎯 Która metoda jest dla Ciebie odpowiednia?

Jeśli przetwarzasz duże partie dokumentów

Ustal niezależny termin dla każdego zadania. Po upływie limitu czasu pojedynczego zadania zaznacza się ono samo i nie zatrzymuje całej partii.

Jeśli martwisz się wyciekami zasobów

Po upływie limitu czasu sprawdź, czy zakończenie zostało rzeczywiście zakończone, i odizoluj je na poziomie kontenera lub grupy procesów. Nie polegaj wyłącznie na przekroczeniu limitu czasu bezpośredniego procesu potomnego.

Jeśli chcesz połączyć się z internetową platformą tłumaczeniową

Czas oczekiwania klienta, status przetwarzania platformy i status pobierania pliku należy przedstawić osobno. Sprawdź znane zadania przed ponownym kliknięciem, aby uniknąć ponownego wykorzystania.

❓ Często zadawane pytania (FAQ)

1. Jeśli do żądania dodano limit czasu, dlaczego wykonanie powinno zostać zatrzymane?

Po upływie limitu czasu proces przetwarzania może nadal działać w tle i zajmować pamięć. Zatrzymanie oczekiwania nie spowoduje automatycznego zwolnienia tych zasobów.

2. Czy zadanie na pewno zakończy się niepowodzeniem po przekroczeniu limitu czasu?

niepewny. Jednak późny wynik po przekroczeniu limitu czasu nie może bezpośrednio zmienić zadania na sukces i musi zostać określony zgodnie z umową o statusie.

3. Kiedy należy spróbować ponownie?

Ponowna próba ma sens tylko wtedy, gdy przyczynę niepowodzenia można naprawić, a wywołanie jest odpowiednio idempotentne. Jeśli te same dane wejściowe zużywają zasoby za każdym razem w tym samym kroku, należy je najpierw odizolować i zbadać.

4. Jakie dowody należy zapisać po przerwie na żądanie?

Zanotuj przynajmniej fazę przekroczenia limitu czasu, informację, czy zakończenie zostało potwierdzone, tożsamość produktu tymczasowego i liczbę ponownych prób.

📝 Podsumowanie

Kluczem do przekroczenia limitu czasu jest osobna obsługa „zatrzymania oczekiwania", „zatrzymania wykonywania"i „czy produkt może zostać dostarczony". Jeśli status zadania jest jasny, partia nie zostanie opóźniona o pojedynczy plik.

Wypróbuj teraz: prześlij dokument, aby rozpocząć tłumaczenie, zachowując oryginalny układ