দ্রুত উত্তর: ডকুমেন্ট অবজেক্ট মডেল (DOM) ট্রিতে ইনলাইন SVG, CSS স্টাইল, ট্র্যাকিং স্ক্রিপ্ট এবং নেভিগেশনাল বয়েলারপ্লেটের কারণে ৯২% পর্যন্ত অতিরিক্ত টোকেন নষ্ট হয়। lxml, Cheerio, resoup বা Tree-sitter এর মতো হাই-স্পিড html parser ব্যবহার করে অপ্রয়োজনীয় নোড অপসারণ করলে ৮৫–৯২% token reduction html সাশ্রয় সম্ভব, যা ইনফারেন্স খরচ কমায় এবং RAG নির্ভুলতা বাড়ায়।
1. ভূমিকা: Document Object Model (DOM) কী এবং কাঁচা HTML কেন LLM-এর জন্য ক্ষতিকর
স্বায়ত্তশাসিত ওয়েব ব্রাউজিং এজেন্ট, RAG (Retrieval-Augmented Generation) পাইপলাইন এবং কৃত্রিম বুদ্ধিমত্তানির্ভর স্ক্র্যাপারের ক্ষেত্রে কাঁচা ওয়েব মার্কআপ একটি বড় বাধা। যখন কোনো AI এজেন্ট Playwright বা HTTP ক্লায়েন্টের মাধ্যমে পেজ লোড করে, ব্রাউজার ইঞ্জিন সেই ডেটাকে মেমরিতে একটি হায়ারারকিক্যাল ট্রি গ্রাফ তৈরি করে, যা document object ট্রি নামে পরিচিত।
Document Object Model (DOM) কী?
মডেলের জন্য ওয়েব ডেটা অপ্টিমাইজ করতে মূল কাঠামোটি বোঝা অপরিহার্য: what is document object model dom?
Document Object Model (DOM) হলো ব্রাউজার ইঞ্জিন (Blink, Gecko, WebKit) দ্বারা গঠিত একটি প্ল্যাটফর্ম-নিরপেক্ষ প্রোগ্রামিং ইন্টারফেস। যখন নেটওয়ার্ক থেকে কাঁচা HTML আসে, তখন পার্সার লেক্সিক্যাল টোকেনাইজেশন সম্পন্ন করে, নোড হায়ারারকি (Document $\rightarrow$ Element $\rightarrow$ Text) তৈরি করে এবং CSSOM-এর সাথে ভিজ্যুয়াল লেআউট গণনা করে। সাধারণ ব্রাউজারে এই document object কাঠামো জাভাস্ক্রিপ্টের মাধ্যমে গতিশীল পরিবর্তন এবং ভিজ্যুয়াল প্রদর্শনের জন্য তৈরি।
ব্রাউজার টোকেনাইজেশন এবং Document Object Model (DOM) ট্রি নির্মাণ:
┌─────────────────────────────────────────────────────────────────────────────┐
│ কাঁচা নেটওয়ার্ক বাইট স্ট্রিম │
│ <!DOCTYPE html><html lang="bn"><head>... │
└──────────────────────────────────────┬──────────────────────────────────────┘
│ টোকেনাইজার (HTML5 পার্সার অ্যালগরিদম)
▼
┌─────────────────────────────────────────────────────────────────────────────┐
│ টোকেন স্ট্রিম (Tokens) │
│ [StartTag: html] [StartTag: head] [StartTag: script] [EndTag: head] │
└──────────────────────────────────────┬──────────────────────────────────────┘
│ ট্রি বিল্ডার (Tree Builder)
▼
┌─────────────────────────────────────────────────────────────────────────────┐
│ Document Object Model (DOM) ট্রি কাঠামো │
│ Document │
│ │ │
│ <html> │
│ ┌─────────────────┴─────────────────┐ │
│ <head> <body> │
│ ┌───────┴───────┐ ┌───────┴───────┐ │
│ <title> <script> <header> <main> │
│ │ │ │ │ │
│ "শিরোনাম" [ট্র্যাকিং JS] <nav> <article> │
│ │ │ │
│ <ul>... <p> "আসল টেক্সট" │
└─────────────────────────────────────────────────────────────────────────────┘কাঁচা DOM ব্যবহারের মূল সমস্যাসমূহ:
- কনটেক্সট উইন্ডো স্ফীতি: একটি সাধারণ ওয়েব পেজে ৪৫,০০০ থেকে ১২০,০০০ কাঁচা HTML টোকেন থাকে, যার ৮৫% থেকে ৯২% অপচয়: SVG কোঅর্ডিনেট, CSS ক্লাস, ট্র্যাকিং স্ক্রিপ্ট এবং কুকি ব্যানার।
- মনোযোগের বিচ্যুতি ও RAG অবনতি: ৪০,০০০ অর্থহীন টোকেনের নিচে মূল লেখা চাপা পড়লে 'Lost in the Middle' সমস্যা দেখা দেয়, ফলে RAG রিকল ৩৪% থেকে ৪৮% পর্যন্ত কমে যায়।
- ব্যয়বহুল ইনফারেন্স: প্রতিদিন ১ লক্ষ কাঁচা পেজ প্রসেস করলে মাসে ১৮,০০০ ডলার পর্যন্ত ব্যয় হতে পারে, যা DOM প্রুনিংয়ের মাধ্যমে ২,২০০ ডলারে নামিয়ে আনা যায়।
2. ৫-ধাপের DOM প্রুনিং পাইপলাইন
- ধাপ ১: নিষিদ্ধ ট্যাগ সম্পূর্ণ ডিলিট: