পিডিএফ দেখা যেতে পারে কিন্তু অনুলিপি করা যায় না, এটি একটি স্ক্যান নাও হতে পারে: প্রথমে পাঠ্য স্তর এবং অক্ষর ম্যাপিং পরীক্ষা করুন

এই নিবন্ধের মূল পয়েন্ট

যে PDFগুলি দেখা যায় কিন্তু অনুলিপি করা যায় না তার সাধারণ কারণ হল যে গ্লিফ থেকে ইউনিকোড ম্যাপিং অনুপস্থিত বা ভুল, এবং এটি স্ক্যান করা অনুলিপি নাও হতে পারে।
যদি পাঠ্যটি নিষ্কাশন না করা হয় তবে এটি সরাসরি স্ক্যান হিসাবে বিচার করা যায় না এবং চিত্রের রেফারেন্স প্রমাণ করে না যে পুরো পৃষ্ঠাটি একটি ছবি।
বিকল্প অক্ষর উপস্থিত হলে এনকোডিং এবং ফন্ট ম্যাপিং পর্যালোচনা করুন। ভুল ম্যাপিং দ্বারা উত্পন্ন ছদ্ম-পাঠ্য নন-নাল চেক পাস করতে পারে।
এই নিবন্ধে নির্ণয় শুধুমাত্র পরিসংখ্যানগত বৈশিষ্ট্যের উপর ভিত্তি করে করা হয়েছে, এবং এনক্রিপ্ট করা ফন্ট বা বিশেষ এনকোডিংগুলির সম্মুখীন হলে ম্যানুয়াল পর্যালোচনা এখনও প্রয়োজন।
অনুবাদের আগে, পৃষ্ঠার ক্রম এবং পাঠ্যের অখণ্ডতা পরীক্ষা করুন এবং অনুবাদের পরে, শিরোনাম, পাঠ্য এবং কিংবদন্তিগুলির সাথে সামঞ্জস্যপূর্ণ কিনা তা পরীক্ষা করুন৷

আপনি যদি পিডিএফ-এ পাঠ্যটি দেখতে পান তবে এটি অনুলিপি করতে না পারেন তবে এটি একটি স্ক্যান করা অনুলিপি নাও হতে পারে, বা অক্ষর ম্যাপিংয়ে সমস্যা হতে পারে। এই নিবন্ধটি এমন ডেভেলপার এবং ডকুমেন্ট প্রসেসরদের জন্য লেখা হয়েছে যাদের PDF কন্টেন্ট এক্সট্র্যাক্ট, অনুবাদ বা গঠন করতে হবে। পড়ার পরে, আপনি জানতে পারবেন কীভাবে পাঠ্য-স্তরের সমস্যা এবং চিত্রের বিষয়বস্তুকে প্রথমে আলাদা করতে হয় এবং পরবর্তীতে কী করতে হবে তা নির্ধারণ করতে একীভূত সংকেত ব্যবহার করুন।

এখানে কোড এবং উদাহরণগুলি সিন্থেটিক নমুনাগুলি ব্যবহার করে যা একটি বিচ্ছিন্ন পরিবেশে নমুনা পরীক্ষায় উত্তীর্ণ হয়েছে এবং সমস্ত বাস্তব ফাইল বা পণ্যের কার্যকারিতার গ্যারান্টি উপস্থাপন করে না। গুরুত্বপূর্ণ নথিগুলি প্রক্রিয়া করার আগে, দয়া করে মূলগুলি রাখুন এবং পাঠ্যের সীমানা এবং গ্রহণযোগ্য আইটেমগুলি অনুসারে সেগুলি পর্যালোচনা করুন৷

PDF দেখা যায় কিন্তু কপি করা যায় না। এটি একটি স্ক্যান কপি? এক বাক্যে উপসংহার

সরাসরি বিচার করতে পারে না। প্রথমে টেক্সট লেয়ার এবং ক্যারেক্টার ম্যাপিং চেক করুন, তারপর পেজ ইমেজ দেখুন এবং শেষ পর্যন্ত নির্ধারণ করুন এটি একটি স্ক্যান বা ম্যাপিং ব্যর্থতা কিনা।

আপনার অবস্থা	প্রস্তাবিত অভ্যাস	কারণ
টেক্সট দেখতে পারেন, বিকৃত অক্ষর বা ফাঁকা স্থান কপি আউট	ToUnicode ম্যাপিং এবং ফন্ট এনকোডিং পরীক্ষা করুন	ভিজ্যুয়াল স্বাভাবিক কিন্তু টেক্সট লেয়ারটি ভেঙে গেছে, বেশিরভাগই অনুপস্থিত বা ভুল ম্যাপিংয়ের কারণে।
অনুলিপি করা অক্ষরগুলি যুক্তিসঙ্গত দেখাচ্ছে কিন্তু ভুল শব্দার্থ আছে	ভিজ্যুয়াল বিষয়বস্তুর বিরুদ্ধে নিষ্কাশন ফলাফল পরীক্ষা করুন	হিউরিস্টিক ম্যাপিং ভুল অক্ষর আউটপুট করতে পারে এবং নন-নাল চেক পাস করতে পারে
কোন লেখা নেই, কিন্তু পাতায় ছবি আছে	চিত্রটিতে পাঠ্য রয়েছে কিনা তা পরীক্ষা করুন এবং তারপরে OCR প্রয়োজন কিনা তা নির্ধারণ করুন	ছবির উদ্ধৃতিগুলি পূর্ণ-পৃষ্ঠার স্ক্যানগুলির সমতুল্য নয়, না তারা প্রমাণ করে যে পাঠ্য পাঠযোগ্য৷
কোন টেক্সট বা ছবি চেক আউট করা হয় না	পৃষ্ঠা অঙ্কন বিষয়বস্তু দেখুন	পৃষ্ঠাটি ফাঁকা বলে উপসংহারে আসার উপায় নেই

কপি করা কোডটি কেন বিকৃত হয়?

ব্যবহারকারীরা সাধারণত ব্রাউজারে বা রিডারে টেক্সট দেখতে পারেন, কিন্তু কপি করা টেক্সটটি বিকৃত, ফাঁকা বা অপ্রাসঙ্গিক প্রতীক। এটি সাধারণত একটি ক্ষতিগ্রস্ত ফাইল নয়, বা এটি অগত্যা একটি স্ক্যান কপি নয়। মূল কারণ হল পিডিএফ-এর ভিতরে গ্লাইফ (Glyph) থেকে ইউনিকোড ম্যাপিং টেবিল (ToUnicode CMap) অনুপস্থিত বা ভুল।

রেন্ডারিং ইঞ্জিনগুলি ভিজ্যুয়াল বিষয়বস্তু আঁকতে গ্লিফ ইনডেক্সের উপর নির্ভর করে, যখন ক্লিপবোর্ড এবং পাঠ্য নিষ্কাশন সরঞ্জামগুলি শব্দার্থিক অক্ষর পুনরুদ্ধার করতে ম্যাপিং টেবিলের উপর নির্ভর করে। দুটি ভাঙ্গা হলে, খারাপ পাঠ্যের একটি "দৃষ্টিগতভাবে স্বাভাবিক, মেশিন-অপাঠ্য" স্তর প্রদর্শিত হয়।

নথির অনুবাদ বা কাঠামোগত নিষ্কাশন করার আগে, আপনাকে প্রথমে নিশ্চিত করতে হবে সমস্যাটি ম্যাপিংয়ে আছে কিনা বা পৃষ্ঠাটি নিজেই একটি চিত্র কিনা। অন্যথায় পরবর্তী ওসিআর বা এনএলপি প্রক্রিয়াগুলি ভুল ভিত্তির উপর ভিত্তি করে করা হবে।

গ্লিফ ইনডেক্স এবং ইউনিকোড ম্যাপিংয়ের মধ্যে ব্রেকিং মেকানিজম

পিডিএফ স্পেসিফিকেশন ফন্টগুলিকে শুধুমাত্র গ্লাইফ আউটলাইন এবং প্রস্থের তথ্য এম্বেড করতে দেয়, কিন্তু অক্ষর এনকোডিং ম্যাপিং নয়। নিম্নলিখিত শর্তগুলি ভাঙার কারণ হতে পারে:

যে সফ্টওয়্যারটি PDF তৈরি করে তা ToUnicode টেবিলটি সঠিকভাবে লিখতে পারে না
কাস্টম এনকোডিং ব্যবহার করা হয় কিন্তু কোন ডিকোডিং নিয়ম প্রদান করা হয় না

এই সময়ে নিষ্কাশনকারী শুধুমাত্র আসল গ্লিফ আইডি (সিআইডি) পেতে পারে। এই আইডিগুলি রেন্ডারারের জন্য অর্থপূর্ণ কিন্তু পাঠ্য প্রক্রিয়াকরণের জন্য কোন মূল্য নেই।

কিছু সরঞ্জাম ম্যাপিং অনুমান করার জন্য হিউরিস্টিক ব্যবহার করে, এবং ফলাফল হতে পারে এমন অক্ষর যা যুক্তিসঙ্গত বলে মনে হয় কিন্তু আসলে ভুল, যেমন চীনা বিরাম চিহ্নকে ল্যাটিন অক্ষরে রূপান্তর করা বা নিয়ন্ত্রণ অক্ষর দিয়ে সংখ্যাগুলি প্রতিস্থাপন করা। এই ধরনের "ডামি টেক্সট" খাঁটি হোয়াইটস্পেসের চেয়ে আরও সূক্ষ্ম কারণ এটি নন-নাল চেক পাস করতে পারে, তবে এটি ডাউনস্ট্রিম লিঙ্কগুলিতে নীরব ডেটা দূষণ ঘটাবে।

এই জাতীয় সমস্যাগুলি বিচার করার মূল চাবিকাঠিটি পাঠ্য নির্বাচন করা যায় কিনা তা দেখা নয়, তবে নিষ্কাশিত স্ট্রিংটি ভিজ্যুয়াল সামগ্রীর সাথে শব্দার্থগতভাবে সামঞ্জস্যপূর্ণ কিনা তা যাচাই করা।

মেমরি সংশ্লেষণ নির্ণয়ের জন্য PyMuPDF ব্যবহার করুন

নিম্নলিখিত কোডটি মেমরিতে ইনপুট তৈরি করে এবং ডায়াগনস্টিক লজিক যাচাই করে:

from io import BytesIO
from PIL import Image
import pymupdf
def inspect(page):
    text = page.get_text().strip()
    images = page.get_images()
    if "\ufffd" in text:
        state = "review_replacement_characters"
    elif text:
        state = "text_present_needs_semantic_review"
    elif images:
        state = "image_without_extracted_text"
    else:
        state = "empty_text_needs_review"
    return {"state": state, "characters": len(text), "image_refs": len(images)}
with pymupdf.open() as doc:
    doc.new_page().insert_text((50, 50), "Text sample")
    doc.new_page()
    picture = BytesIO()
    Image.new("RGB", (16, 16), "red").save(picture, format="PNG")
    doc.new_page().insert_image(pymupdf.Rect(10, 10, 100, 100), stream=picture.getvalue())
    assert inspect(doc[0])["state"] == "text_present_needs_semantic_review"
    assert inspect(doc[1])["state"] == "empty_text_needs_review"
    assert inspect(doc[2])["state"] == "image_without_extracted_text"
    assert inspect(doc[2])["characters"] == 0

উপরের কোডে, diagnose_text_layer ফাংশন get_text("text") এর মাধ্যমে আসল পাঠ্য পায়, নিয়ন্ত্রণ অক্ষর এবং হোয়াইটস্পেস অক্ষর ফিল্টার করতে unicodedata.category ব্যবহার করে এবং কার্যকর সামগ্রীর অনুপাত গণনা করে। একই সময়ে, এটি get_text("blocks") এর মাধ্যমে চিত্র ব্লকের উপস্থিতি সনাক্ত করে।

দুটি দাবী দুটি ক্ষেত্রে যাচাই করে: 0.9 এর চেয়ে বেশি মুদ্রণযোগ্যতার হার সহ একটি সাধারণ নথি এবং শূন্যের অক্ষর গণনা সহ একটি স্ক্যান করা নথি৷ এটি মূল শাখার যুক্তিকে কভার করে।

এটা মনে রাখা গুরুত্বপূর্ণ যে এই রোগ নির্ণয় শুধুমাত্র পরিসংখ্যানগত বৈশিষ্ট্যের উপর ভিত্তি করে। এনক্রিপ্ট করা ফন্ট বা বিশেষ এনকোডিংয়ের জন্য, ম্যানুয়াল পর্যালোচনা এখনও প্রয়োজন।

📊 মূল তুলনা

নিম্নলিখিত সারণী বিভিন্ন সংকেতের সাথে সম্পর্কিত পরিদর্শন নির্দেশাবলী এবং যে সিদ্ধান্তগুলি আঁকা উচিত নয় তা তালিকাভুক্ত করে:

সংকেত	চেক করার পরবর্তী ধাপ	উপসংহার যা আঁকা উচিত নয়
মুদ্রণযোগ্য পাঠ্য আছে	শব্দার্থবিদ্যা, ক্রম এবং উত্স পরীক্ষা করুন	যদি এটি নিষ্কাশন করা যায় তবে এর অর্থ এটি সঠিক।
বিকল্প চরিত্র আছে	এনকোডিং এবং ফন্ট ম্যাপিং পর্যালোচনা করুন	সব চরিত্র হারিয়ে গেছে
ছবি আছে কিন্তু লেখা নেই	ছবিতে পাঠ্য আছে কিনা তা পরীক্ষা করুন	এটি অবশ্যই সমগ্র পৃষ্ঠার একটি স্ক্যান হতে হবে
কোন টেক্সট বা ছবি সনাক্ত করা যায়নি	পৃষ্ঠা অঙ্কন বিষয়বস্তু দেখুন	একটি ফাঁকা পাতা হতে হবে

🎯 কোন পদ্ধতি আপনার জন্য উপযুক্ত?

লেখাটি দেখতে পারলেও কপি করতে পারবেন না

ToUnicode ম্যাপিং এবং ফন্ট এনকোডিং পরীক্ষা করাকে অগ্রাধিকার দিন, যা সাধারণত একটি ভাঙা ম্যাপিংয়ের কারণে হয়।

কপি করা টেক্সট স্বাভাবিক মনে হলেও বিষয়বস্তু ভুল হলে

সেগমেন্ট দ্বারা নিষ্কাশন ফলাফল সেগমেন্ট তুলনা করতে ভিজ্যুয়াল সামগ্রী ব্যবহার করুন, এটি খালি কিনা তা দেখুন না।

যদি পেইজে শুধু ছবি থাকে এবং কোন লেখা থাকে না

ছবিতে পাঠ্য রয়েছে কিনা তা পরীক্ষা করুন এবং OCR প্রয়োজন কিনা তা নির্ধারণ করুন। শুধু অনুমান করবেন না যে পুরো পৃষ্ঠাটি একটি স্ক্যান।

আপনি যদি নথি অনুবাদ করতে যাচ্ছেন

অসংবেদনশীল নমুনা অনুবাদ প্রক্রিয়ায় হস্তান্তর করার আগে পাঠ্য অখণ্ডতা পরীক্ষা সম্পন্ন করা হয়।

নথি অনুবাদের জন্য এই চেকলিস্ট ব্যবহার করুন

প্রথমে পৃষ্ঠার ক্রম, উৎসের অবস্থান এবং পাঠ্যের অখণ্ডতা পরীক্ষা করুন এবং তারপর অনুবাদ প্রক্রিয়ায় একই অসংবেদনশীল নমুনা জমা দিন। অনুবাদের পরে, আপনাকে এখনও শিরোনাম, পাঠ্য এবং চিত্রগুলি সঠিকভাবে সঙ্গতিপূর্ণ কিনা তা পরীক্ষা করতে হবে। আপনি শুধু পাঠ্যটি মসৃণ কিনা তা পরীক্ষা করতে পারবেন না।

OmniDoc (পণ্য পোর্টাল) একটি মাল্টি-ফরম্যাট নথি অনুবাদ পোর্টাল প্রদান করে, এবং অফিসিয়াল ওয়েবসাইট OCR, শব্দকোষ এবং দ্বিভাষিক তুলনা ফাংশনগুলি প্রবর্তন করে৷ আপনি যদি ফাইল থেকে সরাসরি প্রসেসিং শুরু করতে চান, তাহলে আপনি একটি বাস্তব নমুনা দিয়ে এই পথটি মূল্যায়ন করতে পারেন।

আপনার কাছে আপলোড করার অনুমতি আছে এমন সংবেদনশীল ফাইলগুলি ব্যবহার করুন এবং ফলাফলগুলি পর্যালোচনা করতে এই নিবন্ধে চেক আইটেমগুলি ব্যবহার করুন৷ OmniDoc এই নিবন্ধে উল্লিখিত ওপেন সোর্স লাইব্রেরি বা অভ্যন্তরীণ অ্যালগরিদমগুলি ব্যবহার করে এমন কোনও দাবি নেই, বা উদাহরণটি পণ্যের কার্যক্ষমতা পরীক্ষাকে প্রতিস্থাপন করে না।

❓ প্রায়শই জিজ্ঞাসিত প্রশ্ন (FAQ)

1. যদি টেক্সট এক্সট্রাক্ট করা যায়, তাহলে এর মানে কি টেক্সট লেয়ারটি সঠিক?

পারে না নিষ্কাশিত বিষয়বস্তু শব্দার্থবিদ্যা, ক্রম, এবং উত্স জন্য পরীক্ষা করা প্রয়োজন. ম্যাপিং ত্রুটি ঘটলে, আপাতদৃষ্টিতে যুক্তিসঙ্গত অক্ষর আউটপুট হতে পারে।

2. পেজে ছবি আছে। এর মানে কি এটি একটি স্ক্যান কপি?

অনিশ্চিত ছবির উদ্ধৃতি প্রমাণ করে না যে ছবিটি পুরো পৃষ্ঠাটি কভার করে, বা এটি প্রমাণ করে না যে পাঠ্যটি স্বীকৃত হতে পারে। ছবিটিতে পাঠ্য আছে কিনা তা আপনাকে পরীক্ষা করতে হবে।

3. কোন টেক্সট বা ছবি সনাক্ত করা যাবে না। এর মানে কি পৃষ্ঠাটি ফাঁকা?

এ থেকে কোনো উপসংহারে আসা যাবে না। আপনি একটি রায় করার আগে পৃষ্ঠার অঙ্কন বিষয়বস্তু পরীক্ষা করা উচিত.

4. এই ডায়াগনস্টিক স্ক্রিপ্ট কি সব PDF এর সাথে কাজ করবে?

পারে না এটি শুধুমাত্র পরিসংখ্যানগত বৈশিষ্ট্যের উপর ভিত্তি করে, এবং এনক্রিপ্ট করা ফন্ট বা বিশেষ এনকোডিংয়ের জন্য ম্যানুয়াল পর্যালোচনা এখনও প্রয়োজন।

📝 সারাংশ

পিডিএফ দেখা বা কপি করা যায় কিনা, প্রথমে টেক্সট লেয়ার এবং ক্যারেক্টার ম্যাপিং চেক করুন, তারপর ইমেজ কন্টেন্ট দেখুন এবং সবশেষে এটি স্ক্যান করা ডকুমেন্ট কিনা তা নির্ধারণ করুন। প্রক্রিয়াকরণের আগে আসলগুলি রাখুন এবং পরিদর্শন আইটেমগুলির সাথে একে একে পর্যালোচনা করুন।

এটি এখনই চেষ্টা করুন: অনুবাদ শুরু করতে নথিটি আপলোড করুন, মূল বিন্যাস বজায় রেখে৷