Název domény exportovaného HTML byl změněn. Proč jsou obrázky a odkazy nefunkční?
Srovnávací hodnotou urljoin by měla být původní adresa URL stránky. Chcete-li změnit adresu URL souboru na adresář, nemůžete přidat lomítka. Tento příklad zpracovává pouze a[href] a img[src] a nepřepisuje značky CSS, srcset nebo base; přepisování adres URL není sanitace bezpečná pro HTML.
Po migraci exportovaného HTML na nový název domény se obrázky a odkazy stanou neplatnými. To je problém, na který naráží mnoho týmů při organizování starých dokumentů, wiki nebo webů. Tento druh problému často nespočívá v tom, že se zdroj skutečně ztratí, ale v tom, že relativní cesta ztratí svůj původní kontext analýzy.
Tento článek je vhodný pro vývojáře a dokumentační inženýry odpovědné za migraci stránek, statický export nebo dávkové přepisování odkazů. Po přečtení můžete posoudit, které odkazy by měly být přepsány, které by měly být zachovány, a víte, ve kterých scénářích automatické skripty nemohou nahradit ruční přijetí.
Níže uvedené příklady jsou pouze ukázky výuky a nelze je přímo použít jako řešení na úrovni výroby. V textu bude také vysvětlen její rozsah ověřování a hranice.
Proč jsou obrázky a odkazy po migraci nefunkční? Závěr jednou větou
Neplatné obrázky a odkazy jsou obvykle způsobeny ztrátou kontextu analýzy. Při přepisování by měla být jako základní linie použita původní adresa URL stránky a měly by být zpracovány pouze explicitní atributy.
| vaší situaci | Doporučené postupy | důvod |
|---|---|---|
| Adresa URL stránky souboru | Udržujte původní základní linii | Nepřidávejte slepě koncové lomítko, jinak se URL souboru změní na adresář |
| Vyžaduje zpracování CSS, srcset nebo základních značek | Tento příklad to nepokrývá a je třeba jej řešit samostatně. | Příklad zpracovává pouze a[href] a img[src] |
| fragmentová kotva | Udržujte odkaz na tuto stránku | Nevynucujte změnu na vzdálenou stránku |
| Propojení s protokolem skriptu | Odeberte tento atribut z příkladu | Přepsání adres URL se nerovná sanitaci zabezpečení HTML. Kompletní HTML stále vyžaduje dezinfekci zabezpečení. |
| JavaScript generované odkazy nebo reference v rámci Shadow DOM | Přijetí v reálném prostředí prohlížeče | BeautifulSoup se tohoto obsahu nemůže dotknout |
Proč selhává relativní cesta?
Analyzujte kontext závislosti
Když podniky migrují interní dokumenty, wiki nebo starší weby na nový název domény, jsou nefunkční obrázky a nesprávná přesměrování odkazů běžné. Obvykle se nejedná o ztrátu prostředků, ale o ztrátu kontextu analýzy.
Když prohlížeče řeší relativní cesty (jako je images/logo.png), řídí se standardem RFC 3986:
- Nejprve vyhledejte značky
<base href="...">. - Pokud
<base>není přítomen, vypočítá se na základě adresy URL aktuálního dokumentu.
Pokud exportovaný statický HTML není vložen se správným tagem <base> ani se neodchýlí od původní adresářové struktury, všechny relativní odkazy budou ukazovat na kořenový adresář nového názvu domény nebo aktuální cestu stránky, což povede ke zdroji 404.
Sémantické rozdíly mezi urljoin a základními značkami
Výchozí chování urljoin
urllib.parse.urljoin(base, url) je základní nástroj, který zpracovává přepisování odkazů, ale existují jemné rozdíly v tom, jak prohlížeče interpretují značku <base>. Mnoho skriptů "oprav a zlom" často pramení z toho.
urljoinvýchozíbasejako "cesta k souboru", pokud nekončí/.- Například
urljoin("https://new.com/docs", "img.png")má za následekhttps://new.com/img.png(dokumenty jsou vyřazeny jako názvy souborů), nikolihttps://new.com/docs/img.pngpodle očekávání.
Standardizace základních adres URL
HTML <base> tag také spoléhá na koncová lomítka k rozlišení souborů a adresářů v prohlížečích, ale má o něco vyšší toleranci chyb pro nestandardní vstup. Při programovém zpracování nelze předpokládat, že vstup má určité specifikace, takže předzpracování by mělo být provedeno před voláním urljoin:
- Zkontrolujte, zda je schéma legální.
- Přidejte příponu
/k datu potvrzenému jako adresář. Adresy URL stránek souboru by si měly zachovat svůj původní základ. - Odfiltrujte hodnoty null.
Jako spolehlivý vstup lze použít pouze standardizované základní adresy URL.
Absolutní cesta a úplný odkaz
Pro absolutní cesty začínající / nebo odkazy obsahující úplný protokol vrátí urljoin přímo původní hodnotu nebo nahradí pouze název hostitele. Tato funkce je bezpečnější než zřetězení řetězců, ale také vyžaduje, aby vývojáři jasně rozlišovali mezi „přepisováním"a „zachováváním"hranic.
Příklady syntézy a okrajové podmínky
Následující kód ukazuje, jak bezpečně přepsat odkazy na zdroje v HTML. Poznámka: Toto je syntetický příklad výukového programu, účelem je demonstrovat logiku, nikoli poskytnout implementaci na úrovni výroby. Příklad používá řetězce v paměti k simulaci vstupu, čímž se vyhne operacím systému souborů a síťovým požadavkům. Kód byl zkontrolován na vzorových datech v izolovaném prostředí, ale to neznamená, že bude fungovat na všech skutečných souborech, ověřte si to prosím sami v kontrolovaném prostředí.
from urllib.parse import urljoin, urlsplit
from bs4 import BeautifulSoup
def rewrite(markup, page_url):
soup = BeautifulSoup(markup, "html.parser")
for tag, attr in [("a", "href"), ("img", "src")]:
for node in soup.find_all(tag):
value = node.get(attr)
if not value or value.startswith("#"):
continue
result = urljoin(page_url, value)
if urlsplit(result).scheme not in {"https", "http"}:
del node[attr]
else:
node[attr] = result
return soup
result = rewrite('<img src="logo.png"><a href="../guide/">Guide</a><a href="#top">Top</a><a href="javascript:alert(1)">Bad</a>', "https://example.com/docs/page.html")
assert result.img["src"] == "https://example.com/docs/logo.png"
assert result.find_all("a")[0]["href"] == "https://example.com/guide/"
assert result.find_all("a")[1]["href"] == "#top"
assert "href" not in result.find_all("a")[2].attrs
Kritéria přijetí a hranice manuální kontroly
Automatizované skripty mohou opravit problémy se spojováním mechanických cest, ale nemohou nahradit posouzení obchodní sémantiky. Následující tabulka uvádí běžné výjimky a rozhodnutí o zpracování, která týmu pomohou rozlišit scénáře „řešitelný kód"a „vyžadující ruční zásah".
Nelze použít: Tato metoda platí pouze pro statické přepisování atributů HTML. BeautifulSoup se nemůže dotknout odkazů generovaných běhovým prostředím JavaScriptu, odkazů v rámci Shadow DOM, adres URL v CSSbackground-image nebo cest textur Canvas/WebGL. Tyto situace vyžadují přijetí v reálném prostředí prohlížeče nebo komplexní vizuální regresní testování pomocí Playwright nebo Puppeteer. Demonstrace kódu se nerovná kvalitě doručení a přijetí by mělo být založeno na výsledcích vykreslování uživatelského agenta.
Doporučené další kroky
- Přidejte kontrolu asercí po přepsání odkazu do kanálu CI/CD.
- Vzorkování historických exportních dokumentů pro ověření dostupnosti zdrojů.
- Pokud se často setkáváte s problémy s propojováním dynamického obsahu, vyhodnoťte nutnost zavedení bezhlavého prohlížeče pro vizuální regresní testování.
Jakákoli automatická náprava by měla být považována za pomůcku a nikoli za náhradu ruční kontroly.
📊 Srovnání jádra
| Vstupní formulář | Jak zacházet s urljoinem | Body k poznámce |
|---|---|---|
Benchmarky, které nekončí / (například docs) | Poslední odstavec je vyřazen jako název souboru | Výsledkem může být https://new.com/img.png (docs je zahozen jako název souboru) namísto cesty k očekávanému adresáři |
Absolutní cesta začínající / | Vraťte původní hodnotu přímo nebo nahraďte pouze název hostitele | Bezpečnější než řetězení řetězců |
| Odkaz na úplnou dohodu | Vraťte původní hodnotu přímo nebo nahraďte pouze název hostitele | Je třeba jasně rozlišovat hranice mezi přepisováním a uchováváním |
🎯 Která metoda je pro vás vhodná?
pokud jste……
- Migrace staticky exportovaného HTML: Nejprve ověřte, zda základní adresa URL každé stránky je soubor nebo adresář, a poté se rozhodněte, zda chcete přidat lomítko.
- Je třeba zpracovat pouze
a[href]aimg[src]: Můžete se podívat na příklad v tomto článku, ale nezapomeňte, že CSS, srcset a<base>nejsou zahrnuty. - Stránka silně závisí na JavaScriptu: Nespoléhejte se pouze na statické přepisování, měli byste provést přijetí vykreslování ve skutečném prohlížeči.
- Je třeba zajistit zabezpečení stránky: přepisování URL se nerovná čištění zabezpečení HTML a rizikový obsah, jako jsou skripty, je také třeba zpracovávat samostatně.
❓ Často kladené otázky (FAQ)
1. Proč urljoin zahodí poslední segment cesty k adresáři?
Protože urljoin má výchozí hodnotu base, která nekončí na / jako cestu k souboru, bude poslední segment jako název souboru vyřazen. Například výsledek urljoin("https://new.com/docs", "img.png") je https://new.com/img.png (docs je zahozen jako název souboru).
2. Je možné přímo přidat koncová lomítka ke všem základním URL?
Nedoporučuje se. Přidáním lomítek nesprávně vyhodnotíte adresu URL stránky typu souboru jako adresář, což povede k nesprávným výsledkům analýzy relativních cest. Nejprve byste měli určit, zda je odkazem soubor nebo adresář, a pouze přidat lomítka k odkazu, který je potvrzen jako adresář.
3. Je HTML po přepsání URL bezpečné?
žádný. Přepsání adresy URL se nerovná sanitaci zabezpečení HTML. Atribut protokolu skriptu je v příkladu odstraněn, ale zabezpečení úplného HTML je stále třeba řešit samostatně.
4. Které odkazy nelze opravit tímto skriptem?
Odkazy generované běhovým prostředím JavaScriptu, odkazy v rámci Shadow DOM, adresy URL v CSS background-image a cesty textury Canvas nebo WebGL nelze přepsat statickým přepsáním atributů HTML a vyžadují přijetí v reálném prostředí prohlížeče.
Reference
- Oficiální dokumentace krásné polévky - Atributy
- Dokumentace Python urllib.parse.urljoin
- RFC 3986 URI Generic Syntax
📝 Shrnutí
Při exportu HTML a změně názvů domén se obrázky a odkazy stanou neplatnými. Klíč spočívá v benchmarku analýzy relativních cest. Použitím původní adresy URL stránky jako základní linie, standardizací a objasněním pokrytí skriptů můžete problémy udržet v přijatelných mezích.
Vyzkoušejte to hned: Nahrajte dokument a začněte překládat při zachování původního rozvržení


