ارزیابی کیفیت هوش مصنوعی فارسی؛ از درک متن تا پاسخ دقیق
سامانه‌ای که در یک زبان خوب کار می‌کند، الزاماً همان کیفیت را در فارسی ندارد. تنوع نوشتاری، نام‌ها، متن آمیخته فارسی و انگلیسی و شیوه بیان غیرمستقیم باید در طراحی آزمون دیده شوند. معیار موفقیت، انجام درست کار کاربر است، نه صرفاً روان‌بودن جمله.
تحریریه آرکا · تدوین با کمک هوش مصنوعی ·
تصاویر این مقاله، تصویرسازی مفهومی با کمک هوش مصنوعی هستند.
سامانه‌ای که در یک زبان خوب کار می‌کند، الزاماً همان کیفیت را در فارسی ندارد. تنوع نوشتاری، نام‌ها، متن آمیخته فارسی و انگلیسی و شیوه بیان غیرمستقیم باید در طراحی آزمون دیده شوند. معیار موفقیت، انجام درست کار کاربر است، نه صرفاً روان‌بودن جمله.
داده‌ای شبیه کار واقعی
در نمونه‌های مجاز، متن رسمی، محاوره‌ای و دارای خطای تایپی را جدا کنید. برای مرکز تماس، متن تبدیل‌شده از گفتار را نیز بیازمایید. نام محصول، شناسه سفارش و مبلغ باید با حساسیت بیشتر بررسی شوند؛ تبدیل شکل نوشتن عدد نباید مقدار آن را تغییر دهد.
نرمال‌سازی با امکان بازگشت
یکسان‌سازی ی و ک یا فاصله‌ها می‌تواند جست‌وجو را بهتر کند، اما نسخه اصلی ورودی را برای بررسی حفظ کنید. برخی داده‌ها مانند رمز، کد یا نام ثبت‌شده نباید با قواعد عمومی بازنویسی شوند. هر تبدیل باید دلیل و آزمون داشته باشد.
مثال ارزیابی لحن و قصد
در سناریوی فرضی «خیلی هم عالی، باز قطع شد» ممکن است شکایت با عبارت ظاهراً مثبت بیان شود. برچسب‌گذاری باید زمینه را لحاظ کند و امکان ابهام داشته باشد. خروجی کم‌اطمینان را به تصمیم قطعی درباره رضایت مشتری یا عملکرد کارشناس تبدیل نکنید.
- نمونه مرجع را با افراد آشنا به زبان و حوزه بازبینی کنید.
- خطای اعداد، نام‌ها و نفی جمله را جدا گزارش کنید.
- کیفیت هر زبان را مستقل از میانگین کل بسنجید.
- برای ورودی نامفهوم، مسیر پرسش تکمیلی طراحی کنید.
پرسش متداول
ترجمه همه ورودی‌ها به انگلیسی راه‌حل عمومی است؟
ممکن است در یک کاربرد کمک کند، اما ترجمه خود می‌تواند اطلاعات یا لحن را تغییر دهد. مسیر ترجمه و مسیر مستقیم را با همان معیار نهایی مقایسه کنید و هزینه و زمان هر دو را ببینید.
تحلیل احساسات و محدودیت‌ها و دستیار صوتی آرکا مسیرهای مرتبط‌اند.
منابع و روش تدوین
تدوین با کمک هوش مصنوعی؛ مثال زبانی و چک‌لیست، تحلیل پیشنهادی تحریریه‌اند.