چگونه کیفیت پاسخ‌های هوش مصنوعی را با مجموعه آزمون بسنجیم؟
دموی موفق نشان می‌دهد یک کار ممکن است؛ مجموعه آزمون نشان می‌دهد همان کار در شرایط متفاوت چقدر قابل اتکاست. برای خرید یا انتشار سامانه هوش مصنوعی، مجموعه‌ای لازم است که خطاهای مهم کسب‌وکار را آشکار کند و با هر تغییر دوباره اجرا شود.
تحریریه آرکا · تدوین با کمک هوش مصنوعی ·
تصاویر این مقاله، تصویرسازی مفهومی با کمک هوش مصنوعی هستند.
دموی موفق نشان می‌دهد یک کار ممکن است؛ مجموعه آزمون نشان می‌دهد همان کار در شرایط متفاوت چقدر قابل اتکاست. برای خرید یا انتشار سامانه هوش مصنوعی، مجموعه‌ای لازم است که خطاهای مهم کسب‌وکار را آشکار کند و با هر تغییر دوباره اجرا شود.
واحد آزمون را روشن کنید
هر نمونه باید ورودی، زمینه مجاز، خروجی قابل قبول و دلیل پذیرش داشته باشد. در پاسخ‌گویی پشتیبانی، الزاماً یک جمله مرجع وجود ندارد؛ ممکن است چند بیان درست باشند، اما هیچ‌کدام حق وعده بازپرداخت بدون مجوز نداشته باشند. معیار را بر همین رفتار قابل مشاهده بنا کنید.
پوشش، مهم‌تر از شمارش نمونه است
نمونه‌های ساده، مبهم، ناقص، خارج از حوزه و متعارض را جدا برچسب بزنید. برای فارسی، تنوع نوشتاری، عدد، نیم‌فاصله و اصطلاح تخصصی را لحاظ کنید. داده حساس را با حداقل اطلاعات و مجوز مناسب استفاده کنید. مجموعه تنظیم و آزمون نهایی نباید همان پرسش‌ها باشند.
روند پیشنهادی بازبینی
- دو بازبین ابتدا بخشی مشترک را امتیاز دهند و اختلاف معیار را حل کنند.
- خطای بحرانی مانند افشای اطلاعات از خطای نگارشی جدا شود.
- ورودی و نسخه مدل، پرامپت، ابزار و منبع دانش ثبت شوند.
- نمونه شکست واقعی پس از بررسی به آزمون رگرسیون افزوده شود.
در یک مثال فرضی، پاسخ «اطلاعات کافی ندارم» برای پرسشی بدون سند می‌تواند درست باشد. سامانه‌ای که همیشه پاسخ مفصل می‌دهد، لزوماً بهتر نیست. نرخ پاسخ درست را کنار نرخ امتناع مناسب و ارجاع به انسان ببینید تا مدل با حدس‌زدن امتیاز نگیرد.
پرسش متداول
آیا داوری با مدل دیگر کافی است؟
برای غربالگری کمک می‌کند، اما داور خود می‌تواند خطا کند. اختلاف‌های حساس، سوگیری داور و نمونه‌های مرزی به بازبینی انسانی نیاز دارند؛ تصمیم انتشار را به یک نمره خودکار وابسته نکنید.
این چارچوب مکمل انتخاب نخستین کاربرد AI و بررسی مرکز تماس هوشمند آرکا است.
منابع و روش تدوین
تدوین با کمک هوش مصنوعی؛ قالب آزمون و مثال‌ها پیشنهاد اجرایی تحریریه‌اند.