ஒரே மோசமான HTML க்கு இரண்டு பாகுபடுத்திகளின் முடிவுகள் ஏன் வேறுபடுகின்றன?

ஒரு வலைப்பக்கத்தின் உடலைப் பிரித்தெடுக்க அழகான சூப்பைப் பயன்படுத்தும்போது, மிகவும் மறைக்கப்பட்ட தவறு பெரும்பாலும் பிழையாக இருக்காது, ஆனால் "பிழை இல்லை ஆனால் உள்ளடக்கம் இழக்கப்படுகிறது." மூடும் குறிச்சொல் இல்லாத அதே HTML பகுதிக்கு, பாகுபடுத்தி மாற்றப்பட்டால், மரத்தின் அமைப்பு வேறுபட்டிருக்கலாம். இணைய உள்ளடக்கத்தை நிலையான முறையில் பிரித்தெடுக்கவும், வேறுபாடுகள் எங்கிருந்து வருகின்றன என்பதை விளக்கவும் மற்றும் மீண்டும் உருவாக்கக்கூடிய ஆய்வு முறைகளை வழங்கவும் தேவைப்படும் டெவலப்பர்களுக்காக இந்தக் கட்டுரை எழுதப்பட்டுள்ளது.

இந்த கட்டுரை செயலாக்க முறையை நிரூபிக்க செயற்கை மாதிரிகளைப் பயன்படுத்துகிறது. குறியீடு ஒரு தனிமைப்படுத்தப்பட்ட சூழலில் மாதிரி சரிபார்க்கப்பட்டது, ஆனால் இது அனைத்து உண்மையான கோப்புகள் அல்லது தயாரிப்பு செயல்திறனுக்கான உத்தரவாதம் அல்ல. முக்கியமான ஆவணங்களைச் செயலாக்குவதற்கு முன், அசல் ஆவணங்களை வைத்து, உரையில் உள்ள எல்லைகள் மற்றும் ஏற்றுக்கொள்ளும் உருப்படிகளின்படி அவற்றை மதிப்பாய்வு செய்யவும்.

மோசமான HTML இன் ஒரே பகுதிக்கான முடிவுகள் ஏன் வேறுபடுகின்றன? ஒரு வாக்கியத்தின் முடிவு

முடிவு: பாகுபடுத்தும் மரமானது அடிப்படைப் பாகுபடுத்தியால் கட்டமைக்கப்பட்டுள்ளது, மேலும் ஒவ்வொரு பாகுபடுத்தும் சட்ட விரோத குறிச்சொற்களை எதிர்கொள்ளும் போது வெவ்வேறு தவறு-சகிப்பு உத்திகளைக் கொண்டுள்ளது, எனவே பாகுபடுத்தி மற்றும் பதிப்பை சரிசெய்து, அடிப்படையை நிறுவ செயற்கை மாதிரிகளைப் பயன்படுத்தவும்.

மூன்று பாகுபடுத்திகளின் தவறு சகிப்புத்தன்மை தர்க்கம்

பியூட்டிஃபுல் சூப் என்பது ஒரு என்காப்சுலேஷன் லேயர் ஆகும், மேலும் உண்மையான பாகுபடுத்தும் மரக் கட்டுமானம் அடிப்படை பாகுபடுத்தி மூலம் முடிக்கப்படுகிறது. அதிகாரப்பூர்வ ஆவணம் தெளிவாக நினைவூட்டுகிறது: ஆவணம் தவறானதாக இருந்தால், வெவ்வேறு பாகுபடுத்திகள் வெவ்வேறு மரங்களை உருவாக்கும்.

html.parser: விவரக்குறிப்புகளின்படி தவறு-சகிப்புத்தன்மை கொண்டது, ஆனால் முழுமையான நிறைவு வழங்காது

பைதான் நிலையான நூலகத்துடன் வரும் html.parser பூஜ்ஜிய சார்பு மற்றும் நடுத்தர வேகத்தைப் பின்பற்றுகிறது, மேலும் தவறு-சகிப்புத்தன்மை விதிகள் HTML விவரக்குறிப்பைப் பின்பற்றுகின்றன.

• மூடப்படாத <p> குறிச்சொற்களை எதிர்கொள்ளும் போது, முந்தைய பத்தி தானாகவே மூடப்படும் மற்றும் உள்ளமைக்கப்படாது.
• <div> போன்ற மூடப்படாத கொள்கலன் குறிச்சொற்கள் தானாக நிறைவு செய்யப்படாது, மேலும் அடுத்தடுத்த உள்ளடக்கம் பெற்றோருக்கு தவறாக ஒதுக்கப்படலாம்.
• நன்கு வடிவமைக்கப்பட்ட ஆவணங்களுக்கு, இது பாதுகாப்பான மற்றும் இலகுரக தேர்வாகும்; குழப்பமான கட்டமைப்புகள் கொண்ட முழுமையடையாத வலைப்பக்கங்களுக்கு, வெளியீடு விவரக்குறிப்புகளுக்கு இணங்கினாலும், அது காட்சி எதிர்பார்ப்புகளை பூர்த்தி செய்யாமல் போகலாம்.

lxml: வேகமான, பழுதுபார்க்கும் தர்க்கம் உலாவிகளில் இருந்து வேறுபட்டது

lxml ஆனது C மொழி libxml2 ஐ அடிப்படையாகக் கொண்டது, இது வேகமானது மற்றும் நிலையான நூலகத்திற்கும் உலாவிக்கும் இடையில் தவறு சகிப்புத்தன்மை கொண்டது.

• இது சில தொகுதி-நிலை கூறுகளை தானாக மூடுவது போன்ற வெளிப்படையான கட்டமைப்பு பிழைகளை சரிசெய்ய முயற்சிக்கிறது.
• ஃபிக்ஸ் லாஜிக் நவீன உலாவி ரெண்டரிங் தரநிலைகளை விட XML/HTML ஹைப்ரிட் விவரக்குறிப்பைப் பின்பற்றுகிறது.
• புதிய HTML5 அம்சங்களைக் கையாளும் போது அல்லது மிகவும் குழப்பமான பழைய பக்கங்களைக் கையாளும் போது, உருவாக்கப்பட்ட மரம் Chrome டெவலப்பர் கருவிகளில் காணப்படுவதுடன் ஒத்துப்போகாமல் இருக்கலாம்.

html5lib: வேகத்தின் செலவில் உலாவிகளை கண்டிப்பாக உருவகப்படுத்தவும்

html5lib என்பது ஒரு தூய பைதான் பாகுபடுத்தி, இது உலாவி பாகுபடுத்தும் நடத்தையை கண்டிப்பாக உருவகப்படுத்துகிறது.

• உள்ளீடு எவ்வளவு உடைந்தாலும் HTML5 இணக்கமான DOM மரத்தை உருவாக்குகிறது.
• தானாகவே <head>, <body> ஆகியவற்றை நிறைவு செய்து, சிக்கலான உள்ளமை திருத்தங்களைக் கையாளும்.
• விலை மிகவும் மெதுவாக உள்ளது மற்றும் கூடுதல் பைதான் சார்புகளை அறிமுகப்படுத்துகிறது.
• உலாவியில் ஆவணத்தின் உண்மையான காட்சி அமைப்பை மீட்டெடுப்பது (எ.கா. மொழிபெயர்ப்பிற்கான சூழலைப் பாதுகாத்தல்) பணியின் போது இந்த "மெதுவானது" பெரும்பாலும் அவசியமான துல்லியமான செலவாகும்.

தொகுப்பு எடுத்துக்காட்டு: மூடப்படாத குறிச்சொற்களின் தெளிவற்ற காட்சி

வித்தியாசத்தை விரிவாகக் காட்ட, வழக்கமான உடைந்த HTML ஐ உருவாக்குவோம். இந்த குறியீடு பாகுபடுத்தி நடத்தையை நிரூபிக்க மட்டுமே பயன்படுத்தப்படுகிறது மற்றும் உண்மையான தயாரிப்பு தரவு அல்ல என்பதை நினைவில் கொள்ளவும்.

<div class="content">
<p>第一段文字
<p>第二段文字
<span>高亮内容</div>

இந்த மார்க்அப்பில் இரண்டு சிக்கல்கள் உள்ளன: இரண்டு <p> குறிச்சொற்களும் மூடப்படவில்லை, மேலும் <span> ஒரு மறைமுகமான பத்தி எல்லையைக் கடக்கிறது. ஒரு நியாயமான எதிர்பார்ப்பு இரண்டு தனித்தனி பத்திகள் மற்றும் ஒரு இன்லைன் ஹைலைட் அல்லது இரண்டாவது பத்தியின் சிறப்பம்சமாக மட்டுமே இருக்கும்.

• html.parser இன் கீழ், இரண்டு <p> சமமாக அங்கீகரிக்கப்படும், ஆனால் <span> இரண்டாவது பத்தியின் இறுதி வரை </div> வரை நீட்டிக்கப்படலாம்.
• html5lib இன் கீழ், பாகுபடுத்தி, <span> இன் உள்ளமை திருத்தங்களுக்கான உலாவி அல்காரிதத்தைப் பின்பற்றுகிறது, ஒருவேளை அதை இரண்டாவது பத்திக்குள் மட்டுப்படுத்தலாம் அல்லது மிகவும் சிக்கலான மறுசீரமைப்பைச் செய்யலாம்.
• உரையைப் பிரித்தெடுக்க .find('p').get_text() ஐப் பயன்படுத்தினால், இரண்டு பாகுபடுத்திகளும் வழங்கும் சரம் ஒரே மாதிரியாக இருக்கலாம், ஆனால் .find('span') இன் பெற்றோர் மற்றும் உடன்பிறப்பு உறவுகள் முற்றிலும் வேறுபட்டதாக இருக்கும்.

எல்லை வழக்குகள்

• உள்ளீடு ஒரு வெற்று சரம், குறிச்சொற்கள் இல்லாத எளிய உரை அல்லது XML அறிவிப்பைக் கொண்ட HTML துண்டாக இருந்தால், html5lib தானாக முழுமையான ஆவண எலும்புக்கூட்டை (<html><head><body>) சேர்க்கும், அதே நேரத்தில் html.parser அப்படியே இருக்கும்.
• கீழ்நிலை குறியீடு ரூட் நோட் இலக்கு கொள்கலன் என்று கருதினால், html5lib இன் வெளியீடு கூடுதல் அடுக்கு கூடுகளைக் கொண்டிருக்கும், இதனால் தேர்வாளர் தோல்வியடையும்.

பாகுபடுத்தி மற்றும் பதிப்பு சரிபார்ப்புக் குறியீட்டைப் பூட்டு

பின்வரும் பைதான் உதாரணம் நினைவகத்தில் பாகுபடுத்தி வெளியீட்டை எவ்வாறு ஒப்பிடுவது மற்றும் உறுதிமொழிகள் மூலம் எதிர்பார்க்கப்படும் நடத்தையை எவ்வாறு உறுதிப்படுத்துவது என்பதைக் காட்டுகிறது. இந்தக் குறியீடு ஒரு கற்பித்தல் விளக்கமாகும், மேலும் இது beautifulsoup4, lxml மற்றும் html5lib ஆகியவற்றின் குறிப்பிட்ட பதிப்புகளைப் பூட்டக்கூடிய சூழலில் இயக்கப்பட வேண்டும், ஏனெனில் பாகுபடுத்தி மேம்படுத்தல்கள் தவறு சகிப்புத்தன்மை விவரங்களை மாற்றக்கூடும். எடுத்துக்காட்டுகள் நெட்வொர்க் அல்லது வெளிப்புற கோப்புகளை நம்பவில்லை, மேலும் அனைத்து உள்ளீடுகளும் செயற்கை தரவுகளாகும்.

from bs4 import BeautifulSoup

# 合成示例：未闭合标签的损坏HTML
BROKEN_HTML = '<div class="c"><p>A<p>B<span>X</div>'

def parse_and_extract(html: str, parser: str) -> str:
    soup = BeautifulSoup(html, parser)
    # 提取div直接子级p标签的文本数量，反映结构差异
    div = soup.find('div', class_='c')
    if not div:
        return "NO_DIV"
    p_tags = div.find_all('p', recursive=False)
    return f"P_COUNT:{len(p_tags)}"

# 预期：html5lib应识别出2个平级p标签
result_html5lib = parse_and_extract(BROKEN_HTML, 'html5lib')
assert result_html5lib == "P_COUNT:2", f"html5lib 预期2个p，实际: {result_html5lib}"

# 预期：html.parser也应识别出2个p（规范自动闭合）
# 注意：此处不断言相等，仅记录观察值供人工判断，因版本间可能存在细微差异
result_std = parse_and_extract(BROKEN_HTML, 'html.parser')
print(f"html.parser 结果: {result_std}")

# 验证空输入边界
empty_result = parse_and_extract("", 'html5lib')
assert empty_result == "NO_DIV", "空输入应返回NO_DIV"

இந்த குறியீட்டின் மையமானது "சோதனை தேர்ச்சி" அல்ல, ஆனால் மீண்டும் மீண்டும் செய்யக்கூடிய அவதானிப்புகளின் அடிப்படையை நிறுவுகிறது.

• assert அறிக்கை html5lib இன் எதிர்பார்க்கப்படும் நடத்தையில் பூட்டுகிறது.
• html.parser க்கான முடிவுகளை மட்டும் அச்சிடவும், ஏனெனில் அதன் வெளியீடு பதிப்பிலிருந்து பதிப்புக்கு ஏற்ற இறக்கமாக இருக்கலாம்.
• உண்மையான திட்டங்களில், தேர்ந்தெடுக்கப்பட்ட பாகுபடுத்தி பெயர் மற்றும் பதிப்பு எண் ஆகியவை உள்ளமைவு கோப்பு அல்லது குறியீடு கருத்துகளில் எழுதப்பட வேண்டும், இது குழு உறுப்பினர்கள் சுற்றுச்சூழல் வேறுபாடுகளால் வெவ்வேறு முடிவுகளைப் பெறுவதைத் தடுக்கிறது.

பாகுபடுத்தி தேர்வு ஏற்பு மற்றும் கைமுறை மதிப்பாய்வு சரிபார்ப்பு பட்டியல்

முக்கியமான வேறுபாடு: மேலே உள்ள அட்டவணை குறியீடு-நிலை பாகுபடுத்தும் நடத்தைக்கானது மற்றும் இறுதி முதல் இறுதி வரையிலான ஆவண மாற்ற விளைவுக்கு சமமாக இல்லை. பாகுபடுத்தும் மரம் சரியாக இருந்தாலும், அடுத்தடுத்த வரிசைப்படுத்தல், பாணி மறுசீரமைப்பு, இருமொழி சீரமைப்பு போன்றவை இன்னும் விலகல்களை அறிமுகப்படுத்தலாம். பின்வரும் சூழ்நிலைகள் கைமுறையாக மதிப்பாய்வு செய்யப்பட வேண்டும்:

• மூல ஆவணத்தில் ஏராளமான தனிப்பயன் குறிச்சொற்கள் அல்லது தனிப்பட்ட பண்புக்கூறுகள் உள்ளன.
• HTML துணுக்குகள் PDF அல்லது வேர்ட் மாற்றங்களிலிருந்து வருகின்றன, சொந்த வலைப்பக்கங்கள் அல்ல.
• வணிக தர்க்கம் DOM கட்டமைப்பைக் காட்டிலும் CSS மூலம் பார்வைக்குக் கட்டுப்படுத்தப்படும் ஒரு குறிப்பிட்ட உரை வரிசையை நம்பியுள்ளது.

குறிப்புகள் மற்றும் அடுத்த படிகள்

• அழகான சூப் அதிகாரப்பூர்வ ஆவணங்கள்: பாகுபடுத்திகளுக்கு இடையிலான வேறுபாடுகள்
• அழகான சூப்பின் அதிகாரப்பூர்வ ஆவணங்கள்: பாகுபடுத்தியை நிறுவுதல்

அடுத்த படிகளுக்கான பரிந்துரைகள்:

1. திட்டத்தில் ஒரு முக்கிய பாகுபடுத்தியைத் தேர்ந்தெடுக்கவும் (உயர் நம்பகக் காட்சிகளுக்கு html5lib பரிந்துரைக்கப்படுகிறது), மேலும் சார்பு பூட்டு கோப்பில் பெயர் மற்றும் பதிப்பு எண்ணை எழுதவும்.
2. இந்த கட்டுரையில் உள்ள செயற்கை எடுத்துக்காட்டு டெம்ப்ளேட்டைப் பயன்படுத்தி, குழுவிற்குள் பகுப்பாய்வு நடத்தைக்கான அடிப்படை ஆவணத்தை உருவாக்க, நீங்கள் உண்மையில் சந்தித்த 3-5 விளிம்பு நிகழ்வுகளுக்கு துணைபுரியவும்.
3. அமைதியான சறுக்கலைத் தடுக்க, ஏற்கனவே உள்ள பிரித்தெடுத்தல் ஸ்கிரிப்ட்களில் பாகுபடுத்தி பதிப்புச் சரிபார்ப்பைச் சேர்க்கவும்.

ஆவண மொழிபெயர்ப்புக்கான குறிப்புகள்

வலைப்பக்க ஆவணங்களின் உரை, இணைப்புகள், குறியீடு மற்றும் அமைப்பு ஆகியவை தனித்தனியாக செயலாக்கப்பட வேண்டும். ஏற்றுக்கொள்ளும் பட்டியலில் பாதுகாக்கப்பட்ட பகுதிகளைச் சேர்க்கவும், பின்னர் மொழிபெயர்ப்பிற்குப் பிறகு படிக்கக்கூடிய தன்மை மற்றும் பக்க விளக்கக்காட்சியை மதிப்பீடு செய்யவும்.

OmniDoc (தயாரிப்பு போர்டல்) பல வடிவ ஆவண மொழிபெயர்ப்பு போர்ட்டலை வழங்குகிறது, மேலும் அதிகாரப்பூர்வ இணையதளம் OCR, சொற்களஞ்சியம் மற்றும் இருமொழி ஒப்பீட்டு செயல்பாடுகளை அறிமுகப்படுத்துகிறது. கோப்புகளில் இருந்து நேரடியாக வேலை செய்ய விரும்பும் குழுக்களுக்கு, இது நிஜ வாழ்க்கை மாதிரிகள் மூலம் மதிப்பீடு செய்ய வேண்டிய பாதையாகும். பதிவேற்றம் செய்ய உங்களுக்கு அனுமதி உள்ள டீசென்சிடைஸ் செய்யப்பட்ட கோப்புகளைப் பயன்படுத்தவும், மேலும் முடிவுகளை மதிப்பாய்வு செய்ய இந்தக் கட்டுரையில் உள்ள சரிபார்ப்பு உருப்படிகளைப் பயன்படுத்தவும். OmniDoc இந்தக் கட்டுரையில் திறந்த மூல நூலகங்கள் அல்லது உள் அல்காரிதம்களைப் பயன்படுத்துகிறது அல்லது தயாரிப்பு செயல்திறன் சோதனையை மாற்றியமைக்கவில்லை.

🎯 எந்த முறை உங்களுக்கு ஏற்றது?

நீங்கள் என்றால்....

• தரப்படுத்தப்பட்ட கட்டமைப்புகள் மற்றும் பூஜ்ஜிய சார்புகளை மட்டுமே செயலாக்க ஆவணங்கள்: HTML விவரக்குறிப்புகளைப் பின்பற்றும் html.parser ஐப் பயன்படுத்தவும், இது இலகுரக மற்றும் பாதுகாப்பானது.
• அதிக எண்ணிக்கையிலான பக்கங்களை தொகுதிகளாகச் செயலாக்க: lxml ஐப் பயன்படுத்தவும், மேலும் மாதிரி அடிப்படையில் முக்கிய பக்கங்களைச் சரிபார்க்க html5lib ஐப் பயன்படுத்தவும்.
• உலாவியில் உண்மையான கட்டமைப்பை மீட்டெடுக்க வேண்டும்: html5lib ஐப் பயன்படுத்தவும், அதன் வேக அபராதத்தை ஏற்கவும்.
• பல நபர் குழு ஒத்துழைப்பு மற்றும் பல சுற்றுச்சூழல் செயல்பாடு: முதலில் பாகுபடுத்தி மற்றும் பதிப்பைப் பூட்டு, பின்னர் பிரித்தெடுத்தல் மற்றும் மேம்பாட்டைத் தொடங்கவும்.

📊 முக்கிய ஒப்பீடு

❓ அடிக்கடி கேட்கப்படும் கேள்விகள் (FAQ)

1. HTML இன் ஒரே பகுதிக்கு வெவ்வேறு பாகுபடுத்திகள் பயன்படுத்தப்பட்டால், பிரித்தெடுக்கப்பட்ட உரை ஏன் ஒரே மாதிரியாக இருக்கலாம் ஆனால் வெவ்வேறு கட்டமைப்புகளைக் கொண்டிருக்கலாம்?

பியூட்டிஃபுல் சூப் என்பது ஒரு அடைப்பு அடுக்கு என்பதால், மரத்தின் அமைப்பு அடிப்படை பாகுபடுத்தியால் தீர்மானிக்கப்படுகிறது. உரை உள்ளடக்கம் ஒரே மாதிரியாக இருக்கலாம், ஆனால் .find('span') இன் பெற்றோர் முனை மற்றும் உடன்பிறப்பு முனை உறவுகள் வெவ்வேறு தவறு சகிப்புத்தன்மை உத்திகள் காரணமாக வேறுபட்டதாக இருக்கும்.

2. html5lib ஏன் <html><head><body> ஐ விட அதிகமான தொகுப்புகளைக் கொண்டுள்ளது?

html5lib ஆனது உலாவி அல்காரிதம் படி ஆவணத்தின் எலும்புக்கூட்டை தானாக நிறைவு செய்யும். வெற்று சரங்கள், எளிய உரை அல்லது எக்ஸ்எம்எல் அறிவிப்புகளைக் கொண்ட துண்டுகளை எதிர்கொள்ளும்போது இந்த நிறைவு குறிப்பாக கவனிக்கப்படுகிறது. கீழ்நிலை தேர்வாளர் ரூட் நோட் இலக்கு கொள்கலன் என்று கருதினால், அது body இலிருந்து தேர்ந்தெடுக்கத் தொடங்க வேண்டும் அல்லது பிந்தைய செயலாக்கத்தைச் செய்ய வேண்டும்.

3. பாகுபடுத்திப் பதிப்பு ஏன் சார்பு பூட்டு கோப்பில் எழுதப்பட வேண்டும்?

பாகுபடுத்தி மேம்படுத்தல்கள் தவறு சகிப்புத்தன்மை விவரங்களை மாற்றலாம், மேலும் பதிப்புகளைப் பூட்டாமல் இருப்பது ஒரே ஸ்கிரிப்டை வெவ்வேறு சூழல்களில் அமைதியாக நகர்த்தலாம்.

4. பெரிய தொகுதி பணிகளுக்கு html5lib மட்டும் பயன்படுத்த முடியுமா?

html5lib மிகவும் மெதுவாக உள்ளது. lxml பெரிய அளவிலான பணிகளுக்கு மிகவும் பொருத்தமானது, மேலும் html5lib சரிபார்ப்பை மறு மாதிரி செய்ய பயன்படுத்தப்படுகிறது.

5. பாகுபடுத்தும் முடிவு சரியாக இருந்தால், ஆவணத்தை மாற்றுவதில் சிக்கல் இல்லை என்று அர்த்தமா?

இல்லை. சரியான பாகுபடுத்தும் மரம் என்பது குறியீடு-நிலை பாகுபடுத்தும் நடத்தை எதிர்பார்த்தபடி இருப்பதை மட்டுமே குறிக்கிறது. அடுத்தடுத்த வரிசைப்படுத்தல், பாணி மறுசீரமைப்பு மற்றும் இருமொழி சீரமைப்பு இன்னும் விலகல்களை அறிமுகப்படுத்தலாம் மற்றும் கைமுறை மதிப்பாய்வு தேவைப்படலாம்.

📝 சுருக்கம்

பாகுபடுத்தியின் தவறு சகிப்புத்தன்மை உத்தியானது அதே மோசமான HTML இன் மர அமைப்பை தீர்மானிக்கிறது. எனவே, பாகுபடுத்தி மற்றும் பதிப்பை சரிசெய்தல் மற்றும் ஒரு அடிப்படையை நிறுவ செயற்கை மாதிரிகளைப் பயன்படுத்துவது "எந்தப் பிழையும் தெரிவிக்கப்படவில்லை, ஆனால் உள்ளடக்கம் இழக்கப்படுகிறது" என்பதைத் தவிர்ப்பதற்கான விசைகள் ஆகும்.

இப்போது முயற்சிக்கவும்: அசல் தளவமைப்பைத் தக்கவைத்து, மொழிபெயர்ப்பைத் தொடங்க ஆவணத்தைப் பதிவேற்றவும்