PDF ஐப் பார்க்கலாம் ஆனால் நகலெடுக்க முடியாது, இது ஸ்கேன் ஆகாது: முதலில் உரை அடுக்கு மற்றும் எழுத்து மேப்பிங்கைச் சரிபார்க்கவும்

நீங்கள் PDF இல் உள்ள உரையைப் பார்க்க முடியும், ஆனால் அதை நகலெடுக்க முடியவில்லை என்றால், அது ஸ்கேன் செய்யப்பட்ட நகலாக இல்லாமல் இருக்கலாம் அல்லது எழுத்து மேப்பிங்கில் சிக்கல் இருக்கலாம். PDF உள்ளடக்கத்தைப் பிரித்தெடுக்க, மொழிபெயர்க்க அல்லது கட்டமைக்க வேண்டிய டெவலப்பர்கள் மற்றும் ஆவணச் செயலிகளுக்காக இந்தக் கட்டுரை எழுதப்பட்டுள்ளது. படித்த பிறகு, உரை-நிலை சிக்கல்கள் மற்றும் பட உள்ளடக்கத்தை எவ்வாறு வேறுபடுத்துவது என்பதை நீங்கள் அறிவீர்கள், மேலும் அடுத்து என்ன செய்ய வேண்டும் என்பதைத் தீர்மானிக்க ஒருங்கிணைந்த சமிக்ஞைகளைப் பயன்படுத்தவும்.

இங்குள்ள குறியீடு மற்றும் எடுத்துக்காட்டுகள், தனிமைப்படுத்தப்பட்ட சூழலில் மாதிரி காசோலைகளை நிறைவேற்றிய செயற்கை மாதிரிகளைப் பயன்படுத்துகின்றன மற்றும் அனைத்து உண்மையான கோப்புகள் அல்லது தயாரிப்பு செயல்திறனுக்கான உத்தரவாதத்தை பிரதிநிதித்துவப்படுத்தாது. முக்கியமான ஆவணங்களைச் செயலாக்குவதற்கு முன், அசல் ஆவணங்களை வைத்து, உரையில் உள்ள எல்லைகள் மற்றும் ஏற்றுக்கொள்ளும் உருப்படிகளின்படி அவற்றை மதிப்பாய்வு செய்யவும்.

PDF ஐ பார்க்கலாம் ஆனால் நகலெடுக்க முடியாது. இது ஸ்கேன் செய்யப்பட்ட பிரதியா? ஒரு வாக்கியத்தின் முடிவு

நேரடியாக தீர்ப்பு சொல்ல முடியாது. முதலில் டெக்ஸ்ட் லேயர் மற்றும் கேரக்டர் மேப்பிங்கைச் சரிபார்த்து, பின்னர் பக்கப் படத்தைப் பார்த்து, இறுதியாக ஸ்கேன் அல்லது மேப்பிங் தோல்வியா என்பதைத் தீர்மானிக்கவும்.

நகலெடுக்கப்பட்ட குறியீடு ஏன் சிதைக்கப்படுகிறது?

பயனர்கள் உரையை உலாவி அல்லது ரீடரில் சாதாரணமாகப் பார்க்க முடியும், ஆனால் நகலெடுக்கப்பட்ட உரை சிதைக்கப்பட்ட, வெற்று அல்லது பொருத்தமற்ற குறியீடுகள். இது பொதுவாக சேதமடைந்த கோப்பு அல்ல, அல்லது ஸ்கேன் செய்யப்பட்ட நகலாக அவசியமில்லை. PDF இல் உள்ள glyph (Glyph) முதல் Unicode மேப்பிங் டேபிள் (ToUnicode CMap) வரை காணவில்லை அல்லது தவறாக இருப்பதே இதற்குக் காரணம்.

ரெண்டரிங் என்ஜின்கள் காட்சி உள்ளடக்கத்தை வரைவதற்கு கிளிஃப் குறியீடுகளை நம்பியுள்ளன, அதே நேரத்தில் கிளிப்போர்டு மற்றும் உரை பிரித்தெடுத்தல் கருவிகள் சொற்பொருள் எழுத்துக்களை மீட்டெடுக்க மேப்பிங் டேபிள்களை நம்பியுள்ளன. இரண்டையும் உடைக்கும்போது, "பார்வையில் இயல்பான, இயந்திரத்தால் படிக்க முடியாத" மோசமான உரையின் அடுக்கு தோன்றும்.

ஆவண மொழிபெயர்ப்பு அல்லது கட்டமைக்கப்பட்ட பிரித்தெடுத்தல் செய்வதற்கு முன், சிக்கல் மேப்பிங்கில் உள்ளதா அல்லது பக்கமே ஒரு படமா என்பதை முதலில் உறுதிப்படுத்த வேண்டும். இல்லையெனில் அடுத்தடுத்த OCR அல்லது NLP செயல்முறைகள் தவறான முன்மாதிரியின் அடிப்படையில் இருக்கும்.

க்ளைஃப் இண்டெக்ஸ் மற்றும் யூனிகோட் மேப்பிங்கிற்கு இடையேயான உடைக்கும் வழிமுறை

PDF விவரக்குறிப்பு எழுத்துருக்கள் க்ளிஃப் அவுட்லைன் மற்றும் அகலத் தகவலை மட்டுமே உட்பொதிக்க அனுமதிக்கிறது, ஆனால் எழுத்து குறியாக்க மேப்பிங் அல்ல. பின்வரும் நிபந்தனைகள் முறிவு ஏற்படலாம்:

• PDF ஐ உருவாக்கும் மென்பொருள் ToUnicode அட்டவணையை சரியாக எழுதாது
• தனிப்பயன் குறியாக்கம் பயன்படுத்தப்படுகிறது ஆனால் டிகோடிங் விதிகள் வழங்கப்படவில்லை

இந்த நேரத்தில் பிரித்தெடுத்தவர் அசல் கிளிஃப் ஐடியை (சிஐடி) மட்டுமே பெற முடியும். இந்த ஐடிகள் ரெண்டரருக்கு அர்த்தமுள்ளதாக இருக்கும் ஆனால் உரை செயலாக்கத்திற்கு மதிப்பு இல்லை.

சில கருவிகள் மேப்பிங்கை யூகிக்க ஹியூரிஸ்டிக்ஸைப் பயன்படுத்துகின்றன, மேலும் இதன் விளைவாக சீன நிறுத்தற்குறிகளை லத்தீன் எழுத்துக்களாக மாற்றுவது அல்லது எண்களை கட்டுப்பாட்டு எழுத்துகளுடன் மாற்றுவது போன்ற நியாயமானதாக தோன்றும் ஆனால் உண்மையில் தவறான எழுத்துக்களாக இருக்கலாம். இந்த வகையான "போலி உரை" தூய இடைவெளியை விட நுட்பமானது, ஏனெனில் இது பூஜ்யமற்ற சரிபார்ப்பைக் கடக்கும், ஆனால் இது கீழ்நிலை இணைப்புகளில் அமைதியான தரவு மாசுபாட்டை ஏற்படுத்தும்.

இத்தகைய சிக்கல்களைத் தீர்ப்பதற்கான திறவுகோல், உரையைத் தேர்ந்தெடுக்க முடியுமா என்பதைப் பார்ப்பது அல்ல, ஆனால் பிரித்தெடுக்கப்பட்ட சரம் காட்சி உள்ளடக்கத்துடன் சொற்பொருள் இணக்கமாக உள்ளதா என்பதைச் சரிபார்க்க வேண்டும்.

நினைவக தொகுப்பு கண்டறிதலுக்கு PyMuPDF ஐப் பயன்படுத்தவும்

பின்வரும் குறியீடு நினைவகத்தில் உள்ளீட்டை உருவாக்குகிறது மற்றும் கண்டறியும் தர்க்கத்தை சரிபார்க்கிறது:

from io import BytesIO
from PIL import Image
import pymupdf
def inspect(page):
    text = page.get_text().strip()
    images = page.get_images()
    if "\ufffd" in text:
        state = "review_replacement_characters"
    elif text:
        state = "text_present_needs_semantic_review"
    elif images:
        state = "image_without_extracted_text"
    else:
        state = "empty_text_needs_review"
    return {"state": state, "characters": len(text), "image_refs": len(images)}
with pymupdf.open() as doc:
    doc.new_page().insert_text((50, 50), "Text sample")
    doc.new_page()
    picture = BytesIO()
    Image.new("RGB", (16, 16), "red").save(picture, format="PNG")
    doc.new_page().insert_image(pymupdf.Rect(10, 10, 100, 100), stream=picture.getvalue())
    assert inspect(doc[0])["state"] == "text_present_needs_semantic_review"
    assert inspect(doc[1])["state"] == "empty_text_needs_review"
    assert inspect(doc[2])["state"] == "image_without_extracted_text"
    assert inspect(doc[2])["characters"] == 0

மேலே உள்ள குறியீட்டில், diagnose_text_layer செயல்பாடு get_text("text") மூலம் அசல் உரையைப் பெறுகிறது, கட்டுப்பாட்டு எழுத்துகள் மற்றும் இடைவெளி எழுத்துக்களை வடிகட்ட unicodedata.category ஐப் பயன்படுத்துகிறது மற்றும் பயனுள்ள உள்ளடக்கத்தின் விகிதத்தைக் கணக்கிடுகிறது. அதே நேரத்தில், இது get_text("blocks") வழியாக படத் தொகுதிகள் இருப்பதைக் கண்டறியும்.

இரண்டு கூற்றுகளும் இரண்டு நிகழ்வுகளைச் சரிபார்க்கின்றன: 0.9 ஐ விட அதிகமான அச்சிடக்கூடிய விகிதத்தைக் கொண்ட ஒரு சாதாரண ஆவணம் மற்றும் பூஜ்ஜியத்தின் எழுத்து எண்ணிக்கையுடன் ஸ்கேன் செய்யப்பட்ட ஆவணம். இது முக்கிய கிளை தர்க்கத்தை உள்ளடக்கியது.

இந்த நோயறிதல் புள்ளிவிவர பண்புகளை மட்டுமே அடிப்படையாகக் கொண்டது என்பதை கவனத்தில் கொள்ள வேண்டும். மறைகுறியாக்கப்பட்ட எழுத்துருக்கள் அல்லது சிறப்பு குறியாக்கங்களுக்கு, கைமுறை மதிப்பாய்வு இன்னும் தேவைப்படுகிறது.

📊 முக்கிய ஒப்பீடு

பின்வரும் அட்டவணை வெவ்வேறு சமிக்ஞைகளுடன் தொடர்புடைய ஆய்வு திசைகள் மற்றும் வரையப்படக்கூடாத முடிவுகளைப் பட்டியலிடுகிறது:

🎯 எந்த முறை உங்களுக்கு பொருத்தமானது?

நீங்கள் உரையைப் பார்க்க முடிந்தால், ஆனால் அதை நகலெடுக்க முடியவில்லை என்றால்

பொதுவாக வரைபட இடைவெளிகளால் ஏற்படும் ToUnicode வரைபடங்கள் மற்றும் எழுத்துரு குறியாக்கங்களைச் சரிபார்ப்பதற்கு முன்னுரிமை அளிக்கவும்.

நகலெடுக்கப்பட்ட உரை சாதாரணமாகத் தோன்றினால், ஆனால் பிழைகள் இருந்தால்,

முடிவுகளை பத்தி வாரியாக ஒப்பிட்டு பிரித்தெடுக்க காட்சி உள்ளடக்கத்தைப் பயன்படுத்தவும்; அது பூஜ்யமாக இல்லையா என்று மட்டும் பார்க்க வேண்டாம்.

பக்கத்தில் படங்கள் மட்டுமே இருந்தால் மற்றும் உரை இல்லை

படத்தில் உரை உள்ளதா என்று சரிபார்த்து, OCR தேவையா என்பதை முடிவு செய்யவும். முழு பக்கமும் ஸ்கேன் என்று கருத வேண்டாம்.

நீங்கள் ஆவண மொழிபெயர்ப்பு செய்ய தயாராகி வருகிறீர்கள் என்றால்

முதலில், உரை ஒருமைப்பாடு சோதனையை முடிக்கவும், பின்னர் உணர்திறன் நீக்கப்பட்ட மாதிரியை மொழிபெயர்ப்பு செயல்முறைக்கு ஒப்படைக்கவும்.

ஆவண மொழிபெயர்ப்புக்கு இந்த சரிபார்ப்பு பட்டியலைப் பயன்படுத்தவும்

முதலில், பக்க வரிசை, மூல இருப்பிடம் மற்றும் உரை ஒருமைப்பாட்டை கவனமாக சரிபார்க்கவும், பின்னர் மொழிபெயர்ப்பு செயல்முறைக்கு அதே உணர்திறன் மாதிரியை சமர்ப்பிக்கவும். மொழிபெயர்ப்புக்குப் பிறகு, தலைப்பு, முதன்மை வசனம், தலைப்புகள் ஆகியவை சரியாக ஒத்துப்போகின்றனவா என்பதை சோதித்துப் பார்ப்பது இன்னும் அவசியம்; வசனத்தின் மென்மையைக் கொண்டு மட்டுமே தீர்மானிப்பது போதாது.

OmniDoc (தயாரிப்பு நுழைவு) பல வடிவ ஆவண மொழிபெயர்ப்பு போர்ட்டலை வழங்குகிறது, அதிகாரப்பூர்வ இணையதளம் OCR, சொற்களஞ்சியங்கள் மற்றும் இருமொழி குறிப்பு அம்சங்களை அறிமுகப்படுத்துகிறது. நீங்கள் கோப்பில் இருந்து நேரடியாகத் தொடங்க விரும்பினால், உண்மையான மாதிரிகளுடன் இந்த பாதையை மதிப்பீடு செய்யலாம்.

இந்த கட்டுரையில் சரிபார்ப்பு பட்டியலின் முடிவுகளை பதிவேற்றவும் சரிபார்க்கவும் உங்களுக்கு உரிமை உள்ள ஆர்வமுள்ள கோப்பைப் பயன்படுத்தவும். OmniDoc இந்த கட்டுரையில் குறிப்பிடப்பட்டுள்ள திறந்த மூல நூலகங்கள் அல்லது உள் வழிமுறைகளைப் பயன்படுத்துகிறது என்று இது கூறவில்லை, அல்லது இது தயாரிப்பு செயல்திறன் சோதனையை எடுத்துக்காட்டுகளுடன் மாற்றாது.

❓ அடிக்கடி கேட்கப்படும் கேள்விகள் (FAQ)

1. நீங்கள் உரையைப் பிரித்தெடுக்க முடிந்தால், உரை அடுக்கு சரியானது என்று அர்த்தமா?

இல்லை. பிரித்தெடுக்கப்பட்ட உள்ளடக்கம் சொற்பொருள், வரிசை மற்றும் மூலத்திற்காக சரிபார்க்கப்பட வேண்டும், மேலும் மேப்பிங் தவறாக இருந்தால், அது நியாயமான எழுத்துக்களை வெளியிடக்கூடும்.

2. பக்கத்தில் படங்கள் இருந்தால், அது ஒரு ஸ்கேன் என்று அர்த்தமா?

அவசியமில்லை. படக் குறிப்புகள் படம் முழு பக்கத்தையும் உள்ளடக்கியது என்பதை நிரூபிக்கவில்லை, அல்லது உரையை அடையாளம் காண முடியும் என்பதை நிரூபிக்கவில்லை; படத்தில் உரை உள்ளதா என்பதை நீங்கள் சரிபார்க்க வேண்டும்.

3. உரையோ படங்களோ கண்டறியப்படவில்லை என்றால், பக்கம் காலியாக உள்ளது என்று அர்த்தமா?

இதன் அடிப்படையில் எந்த முடிவையும் எடுக்க முடியாது. தீர்ப்பு வழங்குவதற்கு முன் பக்கத்தின் ரெண்டரிங் சரிபார்க்க வேண்டும்.

4. இந்த கண்டறியும் ஸ்கிரிப்டை அனைத்து PDFகளுக்கும் பயன்படுத்த முடியுமா?

இல்லை. இது புள்ளிவிவர அம்சங்களை மட்டுமே அடிப்படையாகக் கொண்டது; குறியாக்கப்பட்ட எழுத்துருக்கள் அல்லது சிறப்பு குறியாக்கங்களுக்கு இன்னும் கையேடு சரிபார்ப்பு தேவைப்படுகிறது.

📝 சுருக்கம்

PDFகளை படிக்க முடியும் ஆனால் நகலெடுக்க முடியாது; முதலில் உரை அடுக்குகள் மற்றும் எழுத்து வரைபடங்களைச் சரிபார்த்து, பின்னர் பட உள்ளடக்கத்தைப் பார்த்து, இறுதியாக அது ஸ்கேன் செய்யப்பட்ட நகல் என்பதை தீர்மானிக்கவும். செயலாக்குவதற்கு முன், அசல் ஆவணங்களை வைத்திருங்கள் மற்றும் ஒவ்வொரு உருப்படியையும் ஆய்வு உருப்படிகளுடன் மதிப்பாய்வு செய்யவும்.

இப்போது அனுபவம்: மொழிபெயர்க்கத் தொடங்க உங்கள் ஆவணத்தைப் பதிவேற்றவும், அசல் வடிவமைப்பைப் பாதுகாக்கவும்

மேலும் படிக்க

• PyMuPDF உரை பிரித்தெடுத்தல் பற்றிய விரிவான விளக்கம்
• PyMuPDF அதிகாரப்பூர்வ ஆவண முகப்புப்பக்கம்