De domeinnaam van de geëxporteerde HTML is gewijzigd. Waarom zijn de afbeeldingen en links verbroken?

De benchmark van urljoin moet de oorspronkelijke pagina-URL zijn. U kunt geen schuine strepen toevoegen om de bestands-URL naar een map te wijzigen. Dit voorbeeld verwerkt alleen a[href] en img[src] en overschrijft geen CSS-, srcset- of base-tags; het herschrijven van URL's is geen HTML-veilige opschoning.

Nadat de geëxporteerde HTML naar een nieuwe domeinnaam is gemigreerd, worden afbeeldingen en links ongeldig. Dit is een probleem waar veel teams tegenaan lopen bij het organiseren van oude documenten, wiki's of sites. Dit soort problemen is vaak niet dat de bron werkelijk verloren gaat, maar dat het relatieve pad zijn oorspronkelijke parseercontext verliest.

Dit artikel is geschikt voor ontwikkelaars en documentatie-ingenieurs die verantwoordelijk zijn voor sitemigratie, statische export of batchherschrijving van links. Na het lezen kun je beoordelen welke links herschreven moeten worden, welke behouden moeten blijven en weet je in welke scenario’s geautomatiseerde scripts de handmatige acceptatie niet kunnen vervangen.

De onderstaande voorbeelden zijn slechts onderwijsdemonstraties en kunnen niet rechtstreeks worden gebruikt als oplossingen op productieniveau. De reikwijdte en grenzen van de verificatie zullen ook in de tekst worden uitgelegd.

Waarom zijn afbeeldingen en links verbroken na de migratie? Conclusie in één zin

Ongeldige afbeeldingen en links worden meestal veroorzaakt door het verlies van de parseercontext. Bij het herschrijven moet de oorspronkelijke pagina-URL als basislijn worden gebruikt en mogen alleen expliciete kenmerken worden verwerkt.

jouw situatieAanbevolen praktijkenreden
URL van bestandspaginaHoud de oorspronkelijke basislijn aanVoeg niet blindelings een schuine streep toe, anders wordt de bestands-URL gewijzigd in een map
Vereist verwerking van CSS-, srcset- of base-tagsDit voorbeeld dekt dit niet en moet afzonderlijk worden behandeld.Het voorbeeld behandelt alleen a[href] en img[src]
fragment ankerHoud de verwijzing naar deze pagina behoudenForceer geen wijziging naar de externe pagina
Koppeling met scriptprotocolVerwijder dit attribuut uit het voorbeeldHet herschrijven van de URL staat niet gelijk aan het opschonen van de HTML-beveiliging. De volledige HTML moet nog steeds veilig worden opgeschoond.
JavaScript gegenereerde links of referenties binnen Shadow DOMAcceptatie in een echte browseromgevingBeautifulSoup kan niet aan deze inhoud komen

Waarom mislukt het relatieve pad?

Parseer afhankelijkheidscontext

Wanneer bedrijven interne documenten, wiki's of oude sites naar een nieuwe domeinnaam migreren, komen kapotte afbeeldingen en onjuiste linkomleidingen vaak voor. Dit is meestal geen verlies van bronnen, maar een verlies van context bij het ontleden.

Wanneer browsers relatieve paden omzetten (zoals images/logo.png), volgen ze de RFC 3986-standaard:

  • Zoek eerst naar <base href="...">-tags.
  • Als <base> niet aanwezig is, wordt deze berekend op basis van de huidige document-URL.

Als de geëxporteerde statische HTML niet wordt geïnjecteerd met de juiste <base>-tag en ook niet wordt afgeweken van de oorspronkelijke mapstructuur, zullen alle relatieve verwijzingen verwijzen naar de hoofdmap van de nieuwe domeinnaam of het huidige paginapad, wat resulteert in bron 404.

Semantische verschillen tussen urljoin- en basistags

Standaardgedrag van urljoin

urllib.parse.urljoin(base, url) is de kerntool die het herschrijven van links afhandelt, maar er zijn subtiele verschillen in de manier waarop browsers de <base>-tag interpreteren. Veel scripts "repareren en breken" komen hier vaak uit voort.

  • urljoin gebruikt standaard base als een "bestandspad", tenzij het eindigt met /.
  • urljoin("https://new.com/docs", "img.png") resulteert bijvoorbeeld in https://new.com/img.png (documenten worden weggegooid als bestandsnamen), niet https://new.com/docs/img.png zoals verwacht.

Standaardisatie van basis-URL's

De HTML <base>-tag vertrouwt ook op afsluitende schuine strepen om bestanden en mappen in browsers van elkaar te onderscheiden, maar heeft een iets hogere fouttolerantie voor niet-standaard invoer. Bij programmatische verwerking kan niet worden aangenomen dat de invoer aan bepaalde specificaties voldoet, dus moet de voorverwerking worden uitgevoerd voordat urljoin wordt aangeroepen:

  1. Controleer of de regeling legaal is.
  2. Voeg het achtervoegsel / toe aan het als directory bevestigde gegeven. Bestandspagina-URL's moeten hun oorspronkelijke basis behouden.
  3. Null-waarden eruit filteren.

Alleen gestandaardiseerde basis-URL's kunnen als betrouwbare invoer worden gebruikt.

Absoluut pad en volledige link

Voor absolute paden die beginnen met /, of links die het volledige protocol bevatten, retourneert urljoin de oorspronkelijke waarde rechtstreeks of vervangt alleen de hostnaam. Deze functie maakt het veiliger dan het aaneenschakelen van tekenreeksen, maar vereist ook dat ontwikkelaars duidelijk onderscheid maken tussen grenzen "herschrijven" en "behouden".

Synthesevoorbeelden en randvoorwaarden

De volgende code laat zien hoe u bronlinks in HTML veilig kunt herschrijven. Opmerking: dit is een voorbeeld van een synthetische tutorial, het doel is om de logica te demonstreren, niet om een implementatie op productieniveau te bieden. In het voorbeeld worden tekenreeksen in het geheugen gebruikt om invoer te simuleren, waardoor bestandssysteembewerkingen en netwerkverzoeken worden vermeden. De code is gecontroleerd op voorbeeldgegevens in een geïsoleerde omgeving, maar dit betekent niet dat deze op alle echte bestanden werkt. Verifieer deze zelf in een gecontroleerde omgeving.

from urllib.parse import urljoin, urlsplit
from bs4 import BeautifulSoup
def rewrite(markup, page_url):
    soup = BeautifulSoup(markup, "html.parser")
    for tag, attr in [("a", "href"), ("img", "src")]:
        for node in soup.find_all(tag):
            value = node.get(attr)
            if not value or value.startswith("#"):
                continue
            result = urljoin(page_url, value)
            if urlsplit(result).scheme not in {"https", "http"}:
                del node[attr]
            else:
                node[attr] = result
    return soup
result = rewrite('<img src="logo.png"><a href="../guide/">Guide</a><a href="#top">Top</a><a href="javascript:alert(1)">Bad</a>', "https://example.com/docs/page.html")
assert result.img["src"] == "https://example.com/docs/logo.png"
assert result.find_all("a")[0]["href"] == "https://example.com/guide/"
assert result.find_all("a")[1]["href"] == "#top"
assert "href" not in result.find_all("a")[2].attrs

Acceptatiecriteria en grenzen voor handmatige beoordeling

Geautomatiseerde scripts kunnen mechanische problemen met padsplitsing oplossen, maar kunnen het oordeel over de bedrijfssemantiek niet vervangen. De volgende tabel bevat veelvoorkomende uitzonderingen en afhandelingsbeslissingen om het team te helpen onderscheid te maken tussen scenario's die in code kunnen worden opgelost en die handmatige tussenkomst vereisen.

Niet van toepassing: deze methode is alleen van toepassing op het herschrijven van statische HTML-kenmerken. BeautifulSoup kan geen koppelingen aanraken die zijn gegenereerd door de JavaScript-runtime, verwijzingen binnen de Shadow DOM, URL's in CSS background-image of Canvas/WebGL-textuurpaden. Deze situaties vereisen acceptatie in een echte browseromgeving, of end-to-end visuele regressietests met behulp van Playwright of Puppeteer. Codedemonstratie staat niet gelijk aan de leveringskwaliteit, en acceptatie moet gebaseerd zijn op de weergaveresultaten van de user-agent.

Aanbevolen volgende stappen

  • Voeg controle van beweringen toe na het herschrijven van de link naar de CI/CD-pijplijn.
  • Bemonstering van historische exportdocumenten om de toegankelijkheid van bronnen te verifiëren.
  • Als u vaak problemen ondervindt bij het koppelen van dynamische inhoud, evalueer dan de noodzaak van het introduceren van een headless browser voor visuele regressietests.

Elk geautomatiseerd herstel moet worden beschouwd als een hulpmiddel en niet als vervanging voor handmatige beoordeling.

📊 Kernvergelijking

InvoerformulierHoe om te gaan met urljoinPunten om op te merken
Benchmarks die niet eindigen op / (zoals docs)De laatste alinea wordt weggegooid als bestandsnaamHet resultaat kan https://new.com/img.png zijn (documenten worden verwijderd als bestandsnaam) in plaats van het pad naar de verwachte map
Absoluut pad dat begint met /Retourneer de oorspronkelijke waarde rechtstreeks of vervang alleen de hostnaamVeiliger dan string-aaneenschakeling
Link naar volledige overeenkomstRetourneer de oorspronkelijke waarde rechtstreeks of vervang alleen de hostnaamDe grenzen tussen herschrijven en vasthouden moeten duidelijk worden onderscheiden

🎯 Welke methode is geschikt voor jou?

als je……

  • Statisch geëxporteerde HTML migreren: controleer eerst of de basis-URL van elke pagina een bestand of map is en bepaal vervolgens of u een schuine streep wilt toevoegen.
  • Alleen a[href] en img[src] moeten worden afgehandeld: u kunt het voorbeeld in dit artikel raadplegen, maar onthoud dat CSS, srcset en <base> niet worden behandeld.
  • De pagina is sterk afhankelijk van JavaScript: vertrouw niet alleen op statisch herschrijven, maar zorg ook voor acceptatie in een echte browser.
  • Paginabeveiliging moet worden gewaarborgd: het herschrijven van URL's is niet hetzelfde als het zuiveren van HTML-beveiliging, en risicovolle inhoud zoals scripts moet ook afzonderlijk worden verwerkt.

❓ Veelgestelde vragen (FAQ)

1. Waarom gooit urljoin het laatste segment van het mappad weg?

Omdat urljoin standaard base is, dat niet eindigt met / als bestandspad, wordt het laatste segment weggegooid als bestandsnaam. Het resultaat van urljoin("https://new.com/docs", "img.png") is bijvoorbeeld https://new.com/img.png (documenten worden weggegooid als bestandsnaam).

2. Kunt u direct een schuine streep toevoegen aan alle basis-URL's?

Niet aanbevolen. Als u schuine strepen toevoegt, wordt de pagina-URL van het bestandstype verkeerd beoordeeld als een map, wat resulteert in onjuiste parseringsresultaten voor relatieve paden. U moet eerst bepalen of de verwijzing een bestand of een map is, en alleen slashes toevoegen aan de verwijzing waarvan is bevestigd dat het een map is.

3. Is HTML veilig na het herschrijven van de URL?

Nee. Het herschrijven van URL's is niet hetzelfde als het opschonen van de HTML-beveiliging. Het scriptprotocolattribuut is in het voorbeeld verwijderd, maar de beveiliging van de volledige HTML moet nog steeds afzonderlijk worden behandeld.

4. Welke links kunnen niet door dit script worden gerepareerd?

Koppelingen gegenereerd door de JavaScript-runtime, verwijzingen binnen de Shadow DOM, URL's in CSS background-image en Canvas- of WebGL-textuurpaden kunnen niet worden overschreven door statische HTML-attribuutoverschrijvingen en vereisen acceptatie in een echte browseromgeving.

Referenties

-Prachtige Soup officiële documentatie - Attributen -Python urllib.parse.urljoin-documentatie -RFC 3986 URI Generic Syntax

📝 Samenvatting

Bij het exporteren van HTML en het wijzigen van domeinnamen worden afbeeldingen en links ongeldig. De sleutel ligt in de parseerbenchmark van relatieve paden. Door de oorspronkelijke pagina-URL als basislijn te gebruiken en de scriptdekking te standaardiseren en te verduidelijken, kunt u problemen binnen aanvaardbare grenzen houden.

Probeer het nu: upload het document om de vertaling te starten, waarbij de oorspronkelijke lay-out behouden blijft

Bijgewerkt op 2026-11-15