الحقن الفوري: تأمين مساعدي الذكاء الاصطناعي المتصلين بعملك

فهم مشكلة الثقة

يعالج نموذج اللغة التعليمات والمعلومات في سياق مشترك. يمكن للمحتوى الذي يقدمه المستخدم أو الذي تم استرداده من مستند أن يحاول إعادة توجيه سلوكه. هذا هو الاهتمام الرئيسي للحقن الفوري. لا يتم حل المشكلة بمجرد إخبار النموذج بتجاهل التعليمات الضارة. صمم التطبيق بحيث يكون لسلوك النموذج غير المتوقع عواقب محدودة. تحديد البيانات المتاحة للمساعد والإجراءات التي يمكن أن يطلبها. ويجب أن يعتمد الأمن على الضوابط القابلة للتنفيذ حول تلك القدرات، وليس على الثقة في أن كل تعليمات اللغة الطبيعية سيتم تفسيرها بشكل صحيح.

التمييز بين المدخلات المباشرة وغير المباشرة

تظهر محاولة مباشرة في المحادثة مع المساعد. يمكن أن تصل المحاولة غير المباشرة من خلال مستند أو بريد إلكتروني أو صفحة ويب أو نتيجة أداة يقرأها المساعد أثناء القيام بعمل مشروع. قد يبدو هذا المحتوى مثل بيانات العمل العادية. يجب أن يأخذ التطبيق في الاعتبار جميع هذه القنوات عند تحديد الحدود. يجب أن يوفر الإجراء الذي تم استرداده حقائق حول الإجراء، وليس سلطة تغيير أذونات التطبيق. قم بتقييم مكان إنشاء المحتوى ومن يمكنه تعديله وما إذا كان سيتم إعادة استخدامه عبر الجلسات أو تخزينه في قاعدة معارف مشتركة.

جرد القدرات الفعلية للمساعد

قم بإدراج كل مصدر بيانات وأداة يكشفها التطبيق. فصل المعلومات العامة والمستندات الداخلية والسجلات الخاصة بالعملاء. تحديد العمليات التي تقرأ البيانات والتي تغير الحالة أو تتواصل خارجيًا. فكر في المعالجة في الخلفية وذاكرة التخزين المؤقت بالإضافة إلى ميزات الدردشة المرئية. يتمتع مساعد المستندات للقراءة فقط بملف تعريف تأثير مختلف عن المساعد القادر على إرسال الرسائل أو تغيير بيانات الفواتير. قم بتقليل القدرات غير الضرورية قبل إضافة المزيد من المطالبات الدفاعية. إن الأداة التي لا يحتاجها المنتج تؤدي إلى التعرض دون فائدة للمستخدم، ويمكن أن يؤدي الحساب ذو الامتيازات الزائدة إلى تقويض قيود الواجهة الدقيقة.

فرض أذونات الوثيقة قبل استرجاعها

قم بتصفية المواد القابلة للبحث وفقًا لوصول المستخدم المصادق عليه قبل دخول المقاطع إلى السياق. يعد إخفاء الاقتباس بعد الإنشاء أمرًا متأخرًا جدًا إذا كان المحتوى المقيد قد أثر بالفعل على الإجابة. قم بتطبيق نفس النطاق على ذاكرات التخزين المؤقت والملخصات المخزنة. في تطبيق متعدد المؤسسات، يجب ألا يعمل معرف العميل المقترح بواسطة النموذج على توسيع النطاق المعتمد للمستخدم. اختبر باستخدام حسابات منفصلة ومستندات مشتركة واقعية. يجب أن ترفض طبقة الوصول إلى البيانات عمليات القراءة غير المصرح بها بشكل مستقل عن تعليمات المساعد وبغض النظر عما إذا كانت الإجابة النهائية تبدو وكأنها تكشف عن أي شيء حساس.

أدوات التصميم بعقود ضيقة

كشف عمليات محددة باستخدام معلمات تم التحقق من صحتها بدلاً من استعلامات قاعدة البيانات غير المقيدة أو تنفيذ الأوامر. ربط الترخيص بالمستخدم الحقيقي وحالة الموارد الحالية. إنشاء مسودة منفصلة عن النشر أو الإرسال. يجب أن ترفض الأداة العملية غير المصرح بها حتى لو وصفها النموذج بأنها عاجلة أو معتمدة. قم بإرجاع المعلومات المطلوبة للمهمة فقط. استجابة الأداة هي أيضًا محتوى يتطلب معالجة دقيقة في اتجاه مجرى النهر. يسهل العقد الضيق اختبار ومراجعة وفهم العواقب المحتملة للإجراءات المحددة للنموذج.

مثال: مساعد CRM يقرأ مرفقًا

يسأل مندوب المبيعات عن ملخص للمرفق الخاص بفرصة ما. يقوم المساعد باسترداد هذا المرفق ضمن أذونات المستخدم. يجب ألا تسمح التعليمات غير المتوقعة داخل المستند بتصدير عملاء غير مرتبطين أو إرسال بريد إلكتروني إلى مستلم خارجي. من الناحية المثالية، هذه القدرات غائبة عن سير العمل هذا. إذا تم طلب مسودة رسالة بشكل منفصل، فإن الواجهة تعرض المستلم الفعلي والمحتوى للمراجعة. يتحقق الخادم من الأذونات مرة أخرى قبل الإرسال. يظل المرفق دليلاً للتلخيص، وليس مصدرًا للسلطة على إجراءات العمل أو قواعد الوصول.

استخدم الفحص متعدد الطبقات دون الخلط بينه وبين التفويض

يمكن أن يساعد فحص المدخلات والمخرجات في تحديد الأنماط المشبوهة وتوجيه الحالات للمراجعة. يمكن أن يؤدي هذا الفحص إلى تفويت التعليمات المعاد صياغتها أو الإشارة إلى اللغة التقنية المشروعة. قياس الإيجابيات الكاذبة وكذلك الاكتشافات. تساعد المطالبات الواضحة وفصل المواد المقتبسة على توصيل النية، ولكنها لا تنشئ حدود أمان مضمونة داخل النموذج. احتفظ بالترخيص الحتمي والعرض الآمن والتحقق من صحة الأداة بغض النظر عن نتيجة الفحص. لا ينبغي مطلقًا أن يمنح التصنيف المفضل أذونات جديدة أو أن يكون بديلاً للتحقق مما إذا كان إجراء معين مسموحًا به.

حماية المخرجات في وجهتها

يمكن للنص الذي تم إنشاؤه بواسطة النموذج أن يدخل إلى متصفح أو فهرس بحث أو واجهة برمجة تطبيقات أخرى. قم بتطبيق وسائل الحماية المطلوبة في تلك الوجهة. قم بعرض المحتوى بأمان بدلاً من التعامل مع HTML الذي تم إنشاؤه على أنه موثوق به. التحقق من صحة الحقول المنظمة وتحديد الخصائص المسموح بها قبل حفظ السجلات. لا تكشف عن بيانات الاعتماد في المطالبات أو نتائج الأداة أو سجلات التشخيص. إذا كانت المخرجات تتضمن رابطًا أو إجراءً مقترحًا، فقم بتمييز الاقتراح عن العملية التي تم تنفيذها بالفعل. تمتد المخاوف الأمنية إلى ما هو أبعد من رسالة الدردشة النهائية: يمكن أن تحمل الملخصات المخزنة والإشعارات والملفات المصدرة محتوى غير موثوق به إلى مسارات عمل لاحقة.

تتطلب موافقة ذات مغزى على الإجراءات الحساسة

يجب أن تصف الموافقة العملية والموارد والوجهة بدقة. إن الاتفاق الغامض على الاستمرار لا يسمح بالضرورة بالدفع أو بإرسال رسالة خارجية. تحقق مما إذا كانت المعلمات المهمة قد تغيرت بعد المراجعة. احتفظ بمن وافق على الإجراء واجعل عمليات إعادة المحاولة آمنة. يمكن أتمتة بعض المهام ذات التأثير المنخفض بعد التقييم، ولكن يجب أن يتبع القرار عواقبها وإمكانية التراجع عنها. تجنب تقديم المراجعة البشرية كحل عالمي عندما تخفي الواجهة التفاصيل الأساسية. يحتاج المراجعون إلى سياق كافٍ لملاحظة مستلم غير صحيح أو مبلغ غير متوقع أو مورد خارج المهمة المقصودة.

حدود الاختبار باستخدام تركيبات غير ضارة

استخدم السجلات الوهمية والحسابات المعزولة وبدائل الأدوات المجهزة. ضع تعليمات الاختبار في نفس القنوات التي يقرأها المساعد بالفعل، بما في ذلك الملفات المستردة. راقب عمليات القراءة ومحاولات الكتابة غير المصرح بها بدلاً من وضع الدرجات فقط في حالة رفض الرد النهائي. قم بتضمين الطلبات الحميدة بمصطلحات فنية حتى لا تؤدي التصفية إلى عرقلة العمل العادي. كرر الاختبارات بعد إجراء تغييرات على الأدوات أو الاسترجاع أو تكوين النموذج. يعد اجتياز مجموعة صغيرة بمثابة دليل انحدار مفيد، وليس ضمانًا ضد جميع المحاولات المستقبلية. والنتيجة المهمة هي أن الحدود القابلة للتنفيذ تستمر في الصمود عندما يتصرف النموذج بشكل غير متوقع.

ورشة عمل: مراجعة سير عمل مساعد واحد

اختر مهمة واحدة مدعومة وارسم جردًا مكتوبًا لمدخلاتها ومصادر بياناتها وآثارها الجانبية. قم بإزالة الأدوات غير الضرورية، وحدد الترخيص الخاص بالموارد، وقم بإدراج العمليات التي تتطلب الموافقة. قم ببناء اختبارات مع مستخدم مقيد ومرفق يحتوي على تعليمات متضاربة غير ضارة. تأكد من أن طبقة البيانات وطبقة الأداة ترفضان العمليات خارج النطاق. افحص السجلات للتأكد من أنها تحتوي على أحداث مفيدة بدون أسرار. قم بتوثيق المخاطر المتبقية والتراجع اليدوي. تنتج ورشة العمل هذه مراجعة أمنية ملموسة يمكن للمطورين تكرارها، بدلاً من مجموعة من العبارات السريعة المطمئنة.

الأسئلة المتداولة

هل يمكن لنظام أقوى أن يزيل الحقن الفوري؟ يمكن أن يحسن السلوك ولكن لا ينبغي معاملته كحدود كاملة.

هل يجب حذف كل وثيقة مشبوهة؟ الحفاظ على الأدلة في إطار عملية المراجعة المناسبة؛ لا تدع المساعد يقرر الإجراءات التدميرية لمجرد أن المحتوى يبدو غير عادي.

هل مساعد القراءة فقط خالي من المخاطر؟ لا يزال بإمكانه الكشف عن المعلومات إذا كانت أذونات الاسترجاع أو ذاكرات التخزين المؤقت المشتركة خاطئة.

ما الذي يمكن أن يبنيه Tuplify Studio؟ مساعدو المستندات الذين يتم التحكم بهم وتكامل الأعمال مع إمكانية الوصول المحددة والأدوات التي تم التحقق من صحتها وشاشات المراجعة والاختبارات التي يمكن ملاحظتها. الهدف هو الحد من الضرر المحتمل حتى عندما يكون السلوك النموذجي غير كامل، مع الحفاظ على المهام المشروعة قابلة للاستخدام.