De domeinnaam van de geëxporteerde HTML is gewijzigd. Waarom zijn de afbeeldingen en links verbroken?
De benchmark van urljoin moet de oorspronkelijke pagina-URL zijn. U kunt geen schuine strepen toevoegen om de bestands-URL naar een map te wijzigen. Dit voorbeeld verwerkt alleen a[href] en img[src] en overschrijft geen CSS-, srcset- of base-tags; het herschrijven van URL's is geen HTML-veilige opschoning.
Nadat de geëxporteerde HTML naar een nieuwe domeinnaam is gemigreerd, worden afbeeldingen en links ongeldig. Dit is een probleem waar veel teams tegenaan lopen bij het organiseren van oude documenten, wiki's of sites. Dit soort problemen is vaak niet dat de bron werkelijk verloren gaat, maar dat het relatieve pad zijn oorspronkelijke parseercontext verliest.
Dit artikel is geschikt voor ontwikkelaars en documentatie-ingenieurs die verantwoordelijk zijn voor sitemigratie, statische export of batchherschrijving van links. Na het lezen kun je beoordelen welke links herschreven moeten worden, welke behouden moeten blijven en weet je in welke scenario’s geautomatiseerde scripts de handmatige acceptatie niet kunnen vervangen.
De onderstaande voorbeelden zijn slechts onderwijsdemonstraties en kunnen niet rechtstreeks worden gebruikt als oplossingen op productieniveau. De reikwijdte en grenzen van de verificatie zullen ook in de tekst worden uitgelegd.
Waarom zijn afbeeldingen en links verbroken na de migratie? Conclusie in één zin
Ongeldige afbeeldingen en links worden meestal veroorzaakt door het verlies van de parseercontext. Bij het herschrijven moet de oorspronkelijke pagina-URL als basislijn worden gebruikt en mogen alleen expliciete kenmerken worden verwerkt.
| jouw situatie | Aanbevolen praktijken | reden |
|---|---|---|
| URL van bestandspagina | Houd de oorspronkelijke basislijn aan | Voeg niet blindelings een schuine streep toe, anders wordt de bestands-URL gewijzigd in een map |
| Vereist verwerking van CSS-, srcset- of base-tags | Dit voorbeeld dekt dit niet en moet afzonderlijk worden behandeld. | Het voorbeeld behandelt alleen a[href] en img[src] |
| fragment anker | Houd de verwijzing naar deze pagina behouden | Forceer geen wijziging naar de externe pagina |
| Koppeling met scriptprotocol | Verwijder dit attribuut uit het voorbeeld | Het herschrijven van de URL staat niet gelijk aan het opschonen van de HTML-beveiliging. De volledige HTML moet nog steeds veilig worden opgeschoond. |
| JavaScript gegenereerde links of referenties binnen Shadow DOM | Acceptatie in een echte browseromgeving | BeautifulSoup kan niet aan deze inhoud komen |
Waarom mislukt het relatieve pad?
Parseer afhankelijkheidscontext
Wanneer bedrijven interne documenten, wiki's of oude sites naar een nieuwe domeinnaam migreren, komen kapotte afbeeldingen en onjuiste linkomleidingen vaak voor. Dit is meestal geen verlies van bronnen, maar een verlies van context bij het ontleden.
Wanneer browsers relatieve paden omzetten (zoals images/logo.png), volgen ze de RFC 3986-standaard:
- Zoek eerst naar
<base href="...">-tags. - Als
<base>niet aanwezig is, wordt deze berekend op basis van de huidige document-URL.
Als de geëxporteerde statische HTML niet wordt geïnjecteerd met de juiste <base>-tag en ook niet wordt afgeweken van de oorspronkelijke mapstructuur, zullen alle relatieve verwijzingen verwijzen naar de hoofdmap van de nieuwe domeinnaam of het huidige paginapad, wat resulteert in bron 404.
Semantische verschillen tussen urljoin- en basistags
Standaardgedrag van urljoin
urllib.parse.urljoin(base, url) is de kerntool die het herschrijven van links afhandelt, maar er zijn subtiele verschillen in de manier waarop browsers de <base>-tag interpreteren. Veel scripts "repareren en breken" komen hier vaak uit voort.
urljoingebruikt standaardbaseals een "bestandspad", tenzij het eindigt met/.urljoin("https://new.com/docs", "img.png")resulteert bijvoorbeeld inhttps://new.com/img.png(documenten worden weggegooid als bestandsnamen), niethttps://new.com/docs/img.pngzoals verwacht.
Standaardisatie van basis-URL's
De HTML <base>-tag vertrouwt ook op afsluitende schuine strepen om bestanden en mappen in browsers van elkaar te onderscheiden, maar heeft een iets hogere fouttolerantie voor niet-standaard invoer. Bij programmatische verwerking kan niet worden aangenomen dat de invoer aan bepaalde specificaties voldoet, dus moet de voorverwerking worden uitgevoerd voordat urljoin wordt aangeroepen:
- Controleer of de regeling legaal is.
- Voeg het achtervoegsel
/toe aan het als directory bevestigde gegeven. Bestandspagina-URL's moeten hun oorspronkelijke basis behouden. - Null-waarden eruit filteren.
Alleen gestandaardiseerde basis-URL's kunnen als betrouwbare invoer worden gebruikt.
Absoluut pad en volledige link
Voor absolute paden die beginnen met /, of links die het volledige protocol bevatten, retourneert urljoin de oorspronkelijke waarde rechtstreeks of vervangt alleen de hostnaam. Deze functie maakt het veiliger dan het aaneenschakelen van tekenreeksen, maar vereist ook dat ontwikkelaars duidelijk onderscheid maken tussen grenzen "herschrijven" en "behouden".
Synthesevoorbeelden en randvoorwaarden
De volgende code laat zien hoe u bronlinks in HTML veilig kunt herschrijven. Opmerking: dit is een voorbeeld van een synthetische tutorial, het doel is om de logica te demonstreren, niet om een implementatie op productieniveau te bieden. In het voorbeeld worden tekenreeksen in het geheugen gebruikt om invoer te simuleren, waardoor bestandssysteembewerkingen en netwerkverzoeken worden vermeden. De code is gecontroleerd op voorbeeldgegevens in een geïsoleerde omgeving, maar dit betekent niet dat deze op alle echte bestanden werkt. Verifieer deze zelf in een gecontroleerde omgeving.
from urllib.parse import urljoin, urlsplit
from bs4 import BeautifulSoup
def rewrite(markup, page_url):
soup = BeautifulSoup(markup, "html.parser")
for tag, attr in [("a", "href"), ("img", "src")]:
for node in soup.find_all(tag):
value = node.get(attr)
if not value or value.startswith("#"):
continue
result = urljoin(page_url, value)
if urlsplit(result).scheme not in {"https", "http"}:
del node[attr]
else:
node[attr] = result
return soup
result = rewrite('<img src="logo.png"><a href="../guide/">Guide</a><a href="#top">Top</a><a href="javascript:alert(1)">Bad</a>', "https://example.com/docs/page.html")
assert result.img["src"] == "https://example.com/docs/logo.png"
assert result.find_all("a")[0]["href"] == "https://example.com/guide/"
assert result.find_all("a")[1]["href"] == "#top"
assert "href" not in result.find_all("a")[2].attrs
Acceptatiecriteria en grenzen voor handmatige beoordeling
Geautomatiseerde scripts kunnen mechanische problemen met padsplitsing oplossen, maar kunnen het oordeel over de bedrijfssemantiek niet vervangen. De volgende tabel bevat veelvoorkomende uitzonderingen en afhandelingsbeslissingen om het team te helpen onderscheid te maken tussen scenario's die in code kunnen worden opgelost en die handmatige tussenkomst vereisen.
Niet van toepassing: deze methode is alleen van toepassing op het herschrijven van statische HTML-kenmerken. BeautifulSoup kan geen koppelingen aanraken die zijn gegenereerd door de JavaScript-runtime, verwijzingen binnen de Shadow DOM, URL's in CSS background-image of Canvas/WebGL-textuurpaden. Deze situaties vereisen acceptatie in een echte browseromgeving, of end-to-end visuele regressietests met behulp van Playwright of Puppeteer. Codedemonstratie staat niet gelijk aan de leveringskwaliteit, en acceptatie moet gebaseerd zijn op de weergaveresultaten van de user-agent.
Aanbevolen volgende stappen
- Voeg controle van beweringen toe na het herschrijven van de link naar de CI/CD-pijplijn.
- Bemonstering van historische exportdocumenten om de toegankelijkheid van bronnen te verifiëren.
- Als u vaak problemen ondervindt bij het koppelen van dynamische inhoud, evalueer dan de noodzaak van het introduceren van een headless browser voor visuele regressietests.
Elk geautomatiseerd herstel moet worden beschouwd als een hulpmiddel en niet als vervanging voor handmatige beoordeling.
📊 Kernvergelijking
| Invoerformulier | Hoe om te gaan met urljoin | Punten om op te merken |
|---|---|---|
Benchmarks die niet eindigen op / (zoals docs) | De laatste alinea wordt weggegooid als bestandsnaam | Het resultaat kan https://new.com/img.png zijn (documenten worden verwijderd als bestandsnaam) in plaats van het pad naar de verwachte map |
Absoluut pad dat begint met / | Retourneer de oorspronkelijke waarde rechtstreeks of vervang alleen de hostnaam | Veiliger dan string-aaneenschakeling |
| Link naar volledige overeenkomst | Retourneer de oorspronkelijke waarde rechtstreeks of vervang alleen de hostnaam | De grenzen tussen herschrijven en vasthouden moeten duidelijk worden onderscheiden |
🎯 Welke methode is geschikt voor jou?
als je……
- Statisch geëxporteerde HTML migreren: controleer eerst of de basis-URL van elke pagina een bestand of map is en bepaal vervolgens of u een schuine streep wilt toevoegen.
- Alleen
a[href]enimg[src]moeten worden afgehandeld: u kunt het voorbeeld in dit artikel raadplegen, maar onthoud dat CSS, srcset en<base>niet worden behandeld. - De pagina is sterk afhankelijk van JavaScript: vertrouw niet alleen op statisch herschrijven, maar zorg ook voor acceptatie in een echte browser.
- Paginabeveiliging moet worden gewaarborgd: het herschrijven van URL's is niet hetzelfde als het zuiveren van HTML-beveiliging, en risicovolle inhoud zoals scripts moet ook afzonderlijk worden verwerkt.
❓ Veelgestelde vragen (FAQ)
1. Waarom gooit urljoin het laatste segment van het mappad weg?
Omdat urljoin standaard base is, dat niet eindigt met / als bestandspad, wordt het laatste segment weggegooid als bestandsnaam. Het resultaat van urljoin("https://new.com/docs", "img.png") is bijvoorbeeld https://new.com/img.png (documenten worden weggegooid als bestandsnaam).
2. Kunt u direct een schuine streep toevoegen aan alle basis-URL's?
Niet aanbevolen. Als u schuine strepen toevoegt, wordt de pagina-URL van het bestandstype verkeerd beoordeeld als een map, wat resulteert in onjuiste parseringsresultaten voor relatieve paden. U moet eerst bepalen of de verwijzing een bestand of een map is, en alleen slashes toevoegen aan de verwijzing waarvan is bevestigd dat het een map is.
3. Is HTML veilig na het herschrijven van de URL?
Nee. Het herschrijven van URL's is niet hetzelfde als het opschonen van de HTML-beveiliging. Het scriptprotocolattribuut is in het voorbeeld verwijderd, maar de beveiliging van de volledige HTML moet nog steeds afzonderlijk worden behandeld.
4. Welke links kunnen niet door dit script worden gerepareerd?
Koppelingen gegenereerd door de JavaScript-runtime, verwijzingen binnen de Shadow DOM, URL's in CSS background-image en Canvas- of WebGL-textuurpaden kunnen niet worden overschreven door statische HTML-attribuutoverschrijvingen en vereisen acceptatie in een echte browseromgeving.
Referenties
-Prachtige Soup officiële documentatie - Attributen -Python urllib.parse.urljoin-documentatie -RFC 3986 URI Generic Syntax
📝 Samenvatting
Bij het exporteren van HTML en het wijzigen van domeinnamen worden afbeeldingen en links ongeldig. De sleutel ligt in de parseerbenchmark van relatieve paden. Door de oorspronkelijke pagina-URL als basislijn te gebruiken en de scriptdekking te standaardiseren en te verduidelijken, kunt u problemen binnen aanvaardbare grenzen houden.


