قطعه‌بندی اسناد در RAG؛ آماده‌سازی متن برای جست‌وجوی هوشمند
وقتی یک دستورالعمل بلند وارد پایگاه دانش می‌شود، پرسش کاربر معمولاً فقط به بخشی از آن مربوط است. قطعه‌بندی باید آن بخش را پیدا کند و در عین حال شرط‌ها، استثناها و نسخه سند را از آن جدا نکند. اندازه ثابت برای همه فایل‌های سازمان، نقطه پایان طراحی نیست.
تحریریه آرکا · تدوین با کمک هوش مصنوعی ·
تصاویر این مقاله، تصویرسازی مفهومی با کمک هوش مصنوعی هستند.
وقتی یک دستورالعمل بلند وارد پایگاه دانش می‌شود، پرسش کاربر معمولاً فقط به بخشی از آن مربوط است. قطعه‌بندی باید آن بخش را پیدا کند و در عین حال شرط‌ها، استثناها و نسخه سند را از آن جدا نکند. اندازه ثابت برای همه فایل‌های سازمان، نقطه پایان طراحی نیست.
از شکل سند شروع کنید
راهنمای مراحل، قرارداد، جدول قیمت و گفت‌وگوی ثبت‌شده ساختار یکسان ندارند. برای هر نوع، نمونه‌ای را دستی بخوانید و مشخص کنید کوچک‌ترین واحد قابل فهم چیست. عنوان فصل، شناسه سند، تاریخ اعتبار و مسیر منبع را همراه قطعه نگه دارید تا پاسخ قابل ردیابی باشد.
خطر بریدن شرط از حکم
در سناریوی فرضی خدمات پس از فروش، جمله «تعویض امکان‌پذیر است» در پایان یک قطعه و شرط «فقط پیش از نصب» در قطعه بعدی قرار دارد. بازیابی اولی به‌تنهایی پاسخ نادرست می‌سازد. می‌توان مرزها را با بخش‌بندی سند هماهنگ کرد یا بخش‌های مجاور لازم را هنگام پاسخ افزود؛ هر روش را باید آزمود.
برنامه مقایسه
- برای پرسش‌های یکسان، چند روش بخش‌بندی را آزمایش کنید.
- جدول را با عنوان ستون‌ها نگه دارید؛ سلول تنها معمولاً مبهم است.
- هزینه تکرار متن در هم‌پوشانی را ثبت کنید.
- حذف سند یا تغییر سطح دسترسی باید به قطعات مشتق‌شده هم برسد.
نتیجه خوب فقط حضور یک قطعه مرتبط نیست؛ مجموعه شاهد باید برای پاسخ کامل کافی باشد. اسناد اسکن‌شده را نیز جدا بررسی کنید، زیرا خطای استخراج متن می‌تواند پیش از مرحله قطعه‌بندی رخ داده باشد.
پرسش متداول
قطعه کوچک همیشه دقیق‌تر است؟
خیر. قطعه کوچک ممکن است مرجع ضمیر یا استثنای قانون را از دست بدهد. قطعه بزرگ هم می‌تواند متن نامرتبط زیادی وارد پاسخ کند. انتخاب را با مجموعه آزمون سازمان انجام دهید.
پس از بخش‌بندی، جست‌وجوی ترکیبی را ارزیابی کنید. دستیار کسب‌وکار آرکا مسیر مرتبط محصول است.
منابع و روش تدوین
تدوین با کمک هوش مصنوعی؛ روش مقایسه و سناریو پیشنهادی‌اند و اندازه بهینه عمومی ادعا نمی‌شود.