تزریق پرامپت چیست و چگونه از دستیار هوشمند در برابر آن محافظت کنیم؟
دستیار ممکن است برای پاسخ، صفحه وب، فایل یا تیکت بخواند. متن داخل این منابع می‌تواند حاوی دستور نامرتبط یا مخرب باشد. طراحی امن باید میان درخواست مجاز کاربر و محتوایی که صرفاً برای بررسی خوانده می‌شود، مرز برقرار کند.
تحریریه آرکا · تدوین با کمک هوش مصنوعی ·
تصاویر این مقاله، تصویرسازی مفهومی با کمک هوش مصنوعی هستند.
دستیار ممکن است برای پاسخ، صفحه وب، فایل یا تیکت بخواند. متن داخل این منابع می‌تواند حاوی دستور نامرتبط یا مخرب باشد. طراحی امن باید میان درخواست مجاز کاربر و محتوایی که صرفاً برای بررسی خوانده می‌شود، مرز برقرار کند.
تهدید مستقیم و غیرمستقیم
OWASP توضیح می‌دهد که تزریق دستور می‌تواند از ورودی مستقیم یا منبع بیرونی وارد شود. اتصال RAG به‌تنهایی این مسئله را رفع نمی‌کند. اگر متن یک سند بتواند اختیار ابزار را تغییر دهد، یک منبع خواندنی به مسیر اجرای اقدام تبدیل شده است.
دفاع در معماری، نه فقط جمله هشدار
سطح دسترسی ابزار باید در سرور کنترل شود و کلید محرمانه در متن مدل قرار نگیرد. خروجی مدل پیش از مصرف در ابزار، به ورودی معتبر و محدود تبدیل شود. متن بیرونی را به‌عنوان داده مشخص کنید و برای عملیات حساس، کنترل مستقل و تأیید متناسب داشته باشید.
سناریوی آزمون بی‌خطر
در محیط جدا، سند آزمایشی حاوی درخواست نامرتبط برای تغییر مسیر پاسخ قرار دهید. بررسی کنید سامانه همچنان کار مجاز را انجام می‌دهد و هیچ ابزار خارج از اختیار اجرا نمی‌شود. هدف تست، سنجش مرزهای خود سامانه است؛ از داده یا مقصد واقعی حساس استفاده نکنید.
- مسیرهای فایل، جست‌وجو و محتوای چندزبانه را پوشش دهید.
- اجازه ابزار را مستقل از متن تولیدشده کنترل کنید.
- رفتار غیرمنتظره را با شناسه درخواست ثبت کنید.
- پس از تغییر ابزار یا مدل، آزمون‌های مرزی را تکرار کنید.
پرسش متداول
آیا یک فیلتر واژه، محافظت کامل می‌دهد؟
نباید به آن به‌عنوان تضمین تکیه کرد. ورودی‌ها شکل‌های متفاوت دارند و کنترل باید چندلایه باشد. محدودکردن اختیار و اعتبارسنجی مستقل، پیامد خطا را کاهش می‌دهد؛ ادعای حذف کامل ریسک نیازمند احتیاط است.
مجوز ابزارهای AI و زیرساخت هوشمند آرکا مسیرهای مرتبط‌اند.
منابع و روش تدوین
تدوین با کمک هوش مصنوعی؛ سناریوی آزمون و چک‌لیست، پیشنهاد تحریریه برای ارزیابی سامانه مجاز خود سازمان‌اند.