Naziv domene izvezenog HTML-a je promijenjen. Zašto slike i veze ne rade?
Mjerilo za urljoin trebao bi biti izvorni URL stranice. Ne možete dodati kose crte da promijenite URL datoteke u direktorij. Ovaj primjer obrađuje samo [href] i img[src] i ne nadjačava CSS, srcset ili base oznake; prepisivanje URL-ova nije HTML sigurna sanacija.
Nakon što se izvezeni HTML migrira na novi naziv domene, slike i veze postaju nevažeći. Ovo je problem s kojim se mnogi timovi susreću prilikom organiziranja starih dokumenata, wikija ili web stranica. Ova vrsta problema često nije u tome što je resurs stvarno izgubljen, već u tome što relativni put gubi svoj izvorni kontekst raščlambe.
Ovaj je članak prikladan za programere i inženjere dokumentacije odgovorne za migraciju web-mjesta, statički izvoz ili skupno prepisivanje veza. Nakon čitanja možete procijeniti koje veze treba prepisati, koje zadržati i znati u kojim scenarijima automatizirane skripte ne mogu zamijeniti ručno prihvaćanje.
Primjeri u nastavku samo su demonstracije učenja i ne mogu se izravno koristiti kao rješenja na razini proizvodnje. Njegov opseg i granice provjere također će biti objašnjeni u tekstu.
Zašto slike i veze ne rade nakon migracije? Zaključak jedne rečenice
Nevažeće slike i poveznice obično su uzrokovane gubitkom konteksta analize. Prilikom prepisivanja, izvorni URL stranice trebao bi se koristiti kao osnova, a samo eksplicitni atributi bi se trebali obrađivati.
| vaša situacija | Preporučene prakse | razlog |
|---|---|---|
| URL stranice datoteke | Zadržite izvornu osnovnu liniju | Nemojte naslijepo dodavati kosu crtu na kraju, inače će se URL datoteke promijeniti u direktorij |
| Zahtijeva obradu CSS, srcset ili base oznaka | Ovaj primjer to ne pokriva i potrebno ga je zasebno obraditi. | Primjer obrađuje samo a[href] i img[src] |
| fragment sidro | Neka ova stranica bude navedena | Nemojte prisilno mijenjati udaljenu stranicu |
| Veza s protokolom skripte | Uklonite ovaj atribut iz primjera | Prepisivanje URL-ova nije jednako sigurnosnoj sanaciji HTML-a. Cijeli HTML i dalje treba sigurnosnu sanaciju. |
| JavaScript generirane veze ili reference unutar Shadow DOM-a | Prihvaćanje u stvarnom okruženju preglednika | BeautifulSoup ne može dirati ovaj sadržaj |
Zašto relativni put ne uspijeva?
Raščlanite kontekst ovisnosti
Kada tvrtke migriraju interne dokumente, wikije ili naslijeđene stranice na novi naziv domene, pokvarene slike i netočna preusmjeravanja veza su česta pojava. To obično nije gubitak resursa, već gubitak konteksta analize.
Kada preglednici rješavaju relativne staze (kao što je images/logo.png), slijede standard RFC 3986:
- Prvo potražite
<base href="...">oznake. - Ako
<base>nije prisutan, izračunava se na temelju trenutnog URL-a dokumenta.
Ako izvezeni statički HTML nije niti umetnut s ispravnom oznakom <base> niti je odstupio od izvorne strukture direktorija, sve relativne reference pokazivat će na korijenski direktorij novog naziva domene ili trenutne staze stranice, što će rezultirati resursom 404.
Semantičke razlike između urljoin i base oznaka
Zadano ponašanje urljoina
urllib.parse.urljoin(base, url) je temeljni alat koji upravlja prepisivanjem veza, ali postoje suptilne razlike u tome kako preglednici tumače oznaku <base>. Mnoge skripte "popravi i pokvari" često proizlaze iz ovoga.
urljoinzadano postavljabasekao "put do datoteke" osim ako ne završava s/.- Na primjer,
urljoin("https://new.com/docs", "img.png")rezultirahttps://new.com/img.png(dokumenti se odbacuju kao nazivi datoteka), a nehttps://new.com/docs/img.pngkako se očekuje.
Standardizacija osnovnih URL-ova
HTML oznaka <base> također se oslanja na završne kose crte za razlikovanje datoteka i direktorija u preglednicima, ali ima malo veću toleranciju na pogreške za nestandardni unos. U programskoj obradi, ne može se pretpostaviti da je ulaz određenih specifikacija, tako da se pretprocesiranje treba obaviti prije pozivanja urljoin:
- Provjerite je li shema legalna.
- Dodajte sufiks
/datumu potvrđenom kao imenik. URL-ovi stranica datoteke trebaju zadržati svoju izvornu bazu. - Filtrirajte nulte vrijednosti.
Samo standardizirani osnovni URL-ovi mogu se koristiti kao pouzdani unos.
Apsolutni put i potpuna veza
Za apsolutne staze koje počinju s /, ili veze koje sadrže cijeli protokol, urljoin vraća izvornu vrijednost izravno ili zamjenjuje samo ime glavnog računala. Ova ga značajka čini sigurnijim od ulančavanja nizova, ali također zahtijeva od programera da jasno razlikuju granice "ponovnog pisanja" i "čuvanja".
Primjeri sinteze i rubni uvjeti
Sljedeći kôd pokazuje kako sigurno prepisati veze resursa u HTML-u. Napomena: ovo je sintetički primjer vodiča, svrha je pokazati logiku, a ne pružiti implementaciju na razini proizvodnje. Primjer koristi nizove u memoriji za simulaciju unosa, izbjegavajući operacije datotečnog sustava i mrežne zahtjeve. Kôd je provjeren na oglednim podacima u izoliranom okruženju, ali to ne znači da će raditi na svim stvarnim datotekama, provjerite ga sami u kontroliranom okruženju.
from urllib.parse import urljoin, urlsplit
from bs4 import BeautifulSoup
def rewrite(markup, page_url):
soup = BeautifulSoup(markup, "html.parser")
for tag, attr in [("a", "href"), ("img", "src")]:
for node in soup.find_all(tag):
value = node.get(attr)
if not value or value.startswith("#"):
continue
result = urljoin(page_url, value)
if urlsplit(result).scheme not in {"https", "http"}:
del node[attr]
else:
node[attr] = result
return soup
result = rewrite('<img src="logo.png"><a href="../guide/">Guide</a><a href="#top">Top</a><a href="javascript:alert(1)">Bad</a>', "https://example.com/docs/page.html")
assert result.img["src"] == "https://example.com/docs/logo.png"
assert result.find_all("a")[0]["href"] == "https://example.com/guide/"
assert result.find_all("a")[1]["href"] == "#top"
assert "href" not in result.find_all("a")[2].attrs
Kriteriji prihvaćanja i granice ručnog pregleda
Automatizirane skripte mogu popraviti mehaničke probleme spajanja putanje, ali ne mogu zamijeniti prosudbu poslovne semantike. Sljedeća tablica navodi uobičajene iznimke i odluke o rukovanju kako bi pomoglo timu da razlikuje scenarije "kod rješiv" i "zahtijeva ručnu intervenciju".
Nije primjenjivo: Ova se metoda primjenjuje samo na ponovno pisanje statičkih HTML atributa. BeautifulSoup ne može dodirnuti veze koje je generiralo vrijeme izvođenja JavaScripta, reference unutar Shadow DOM-a, URL-ove u CSS background-image ili staze teksture Canvas/WebGL. Ove situacije zahtijevaju prihvaćanje u stvarnom okruženju preglednika ili end-to-end vizualno regresijsko testiranje pomoću Playwrighta ili Puppeteera. Demonstracija koda ne znači kvalitetu isporuke, a prihvaćanje bi se trebalo temeljiti na rezultatima prikazivanja korisničkog agenta.
Preporučeni sljedeći koraci
- Dodajte provjeru tvrdnji nakon prepisivanja veze u CI/CD cjevovod.
- Uzorkovanje povijesnih izvoznih dokumenata za provjeru dostupnosti izvora.
- Ako se često susrećete s problemima dinamičkog povezivanja sadržaja, procijenite nužnost uvođenja preglednika bez glave za testiranje vizualne regresije.
Svaki automatizirani popravak trebao bi se smatrati pomoći, a ne zamjenom za ručni pregled.
📊 Osnovna usporedba
| Obrazac za unos | Kako rukovati urljoinom | Točke koje treba napomenuti |
|---|---|---|
Referentne vrijednosti koje ne završavaju na / (kao što je docs) | Zadnji odlomak se odbacuje kao naziv datoteke | Rezultat može biti https://new.com/img.png (docs se odbacuje kao naziv datoteke) umjesto staze do očekivanog direktorija |
Apsolutni put koji počinje s / | Izravno vratite izvornu vrijednost ili zamijenite samo naziv hosta | Sigurnije od ulančavanja nizova |
| Link na puni ugovor | Izravno vratite izvornu vrijednost ili zamijenite samo naziv hosta | Potrebno je jasno razlikovati granice između prepisivanja i zadržavanja |
🎯 Koja je metoda prikladna za vas?
ako ti……
- Za migriranje statički izvezenog HTML-a: Prvo potvrdite je li osnovni URL svake stranice datoteka ili direktorij, a zatim odlučite hoćete li dodati kosu crtu.
- Potrebno je rukovati samo
a[href]iimg[src]: možete se pozvati na primjer u ovom članku, ali zapamtite da CSS, srcset i<base>nisu pokriveni. - Stranica se uvelike oslanja na JavaScript: Nemojte se oslanjati samo na statičko prepisivanje, trebali biste izvršiti prihvaćanje renderiranja u pravom pregledniku.
- Potrebno je osigurati sigurnost stranice: prepisivanje URL-a nije jednako sigurnosnom pročišćavanju HTML-a, a rizični sadržaj kao što su skripte također se moraju zasebno obrađivati.
❓ Često postavljana pitanja (FAQ)
1. Zašto urljoin odbacuje zadnji segment putanje direktorija?
Budući da urljoin zadano postavlja base koji ne završava s / kao put datoteke, zadnji segment će biti odbačen kao naziv datoteke. Na primjer, rezultat urljoin("https://new.com/docs", "img.png") je https://new.com/img.png (docs se odbacuje kao naziv datoteke).
2. Je li moguće izravno dodati kose crte na kraju svim osnovnim URL-ovima?
Ne preporučuje se. Dodavanje kosih crta pogrešno će procijeniti URL stranice tipa datoteke kao direktorij, što će rezultirati netočnim rezultatima analize relativnih puteva. Prvo biste trebali utvrditi je li referenca datoteka ili direktorij i dodati kose crte samo onoj referenci za koju je potvrđeno da je direktorij.
3. Je li HTML siguran nakon ponovnog pisanja URL-a?
Ne. Prepisivanje URL-a nije jednako sigurnosnoj sanaciji HTML-a. Atribut protokola skripte uklonjen je u primjeru, ali se sigurnošću punog HTML-a i dalje treba zasebno pozabaviti.
4. Koje se veze ne mogu popraviti ovom skriptom?
Veze koje generira JavaScript runtime, reference unutar Shadow DOM-a, URL-ovi u CSS background-image i staze teksture Canvas ili WebGL ne mogu se nadjačati statičkim nadjačavanjem HTML atributa i zahtijevaju prihvaćanje u stvarnom okruženju preglednika.
Reference
- Službena dokumentacija Beautiful Soup - Atributi
- Python urllib.parse.urljoin dokumentacija
- RFC 3986 URI Generic Syntax
📝 Sažetak
Prilikom izvoza HTML-a i promjene imena domena, slike i veze postaju nevažeći. Ključ leži u mjerilu parsiranja relativnih putanja. Korištenjem izvornog URL-a stranice kao osnove, standardiziranjem i pojašnjavanjem pokrivenosti skripte, probleme možete držati unutar prihvatljivih granica.
Isprobajte sada: prenesite dokument za početak prijevoda, zadržavajući izvorni izgled


