أنظمة الذكاء الاصطناعي تفشل بشكل مختلف عن البرمجيات العادية. فالخطأ البرمجي التقليدي ينتج رسالة خطأ تراها. أما فشل الذكاء الاصطناعي فينتج إجابة سلسة واثقة معقولة تحوي بيانات عميل آخر — ولا شيء في سجلاتك يبدو خاطئاً.
الإجابة المختصرة: المخاطر التي تتحقق فعلاً هي حقن التوجيهات، والاسترجاع الواسع أكثر من اللازم، وحفظ المدخلات أو التدريب عليها. وثلاثتها معمارية، وثلاثتها أرخص منعاً منها معالجةً.
هذا الدليل هو الرؤية الهندسية. أما الالتزامات التنظيمية، فراجع الامتثال التنظيمي الخليجي.
حقن التوجيهات
المشكلة الأمنية التي لا حلّ كاملاً لها، وأكثر ما لم تفكر فيه الفرق.
ما هي: النموذج اللغوي لا يستطيع التمييز الموثوق بين تعليماتك والنص الذي يعالجه. فإن وصل محتوى غير موثوق إلى النموذج، أمكن لذلك المحتوى إصدار تعليمات.
ومن أين يأتي المحتوى غير الموثوق — مواضع أكثر مما تتوقع الفرق:
- رسائل المستخدمين، بداهةً
- المستندات التي يرفعها المستخدمون، بما فيها السير الذاتية والفواتير ومرفقات الدعم
- صفحات الويب التي يجلبها النظام
- حقول قاعدة البيانات التي ملأها المستخدمون — تقييم منتج، نبذة ملف شخصي
- محتوى البريد في مسار معالجة آلي
وما يحاوله الحقن: كشف توجيه نظامك، أو تجاهل قيودك، أو استخراج بيانات من السياق، أو — والأشد ضرراً — تشغيل أداة يستطيع النموذج استدعاءها.
وما يقلل المخاطرة فعلاً:
أقل صلاحية للأدوات. وهذا أعلى ضابط قيمةً بفارق كبير. فإن كان النموذج يقرأ فقط، فلا يستطيع الحقن جعله يكتب. وإن كان يستطيع حذف سجلات، فسيفعل الحقن ذلك يوماً. اسأل ماذا ستفعل أسوأ تعليمة قد يتبعها النموذج، ثم أزل تلك القدرة.
وأكّد الإجراءات ذات الأثر. فأي شيء يرسل أو يدفع أو يحذف أو يغيّر صلاحيات يجب أن يتطلب موافقة بشرية. وهذا يحوّل اختراقاً صامتاً إلى طلب مرئي.
وعامل مخرجات النموذج كمدخل غير موثوق. فإن كانت المخرجات تتدفق إلى نظام آخر، تحقّق منها كما تفعل مع أي مدخل مستخدم. والمخرجات المعروضة كـHTML بلا تهريب ناقل لهجمات XSS.
وافصل التعليمات عن البيانات بنيوياً، بأي آلية يوفّرها مزوّدك، ولا تركّب توجيهاً أبداً بدمج نص مستخدم داخل نص تعليمات.
الموقف الواقعي: لا تستطيع منع الحقن كلياً. لكنك تستطيع ضمان ألا يفعل الحقن الناجح شيئاً مكلفاً. فالبنية تتفوق على الترشيح هنا — والنموذج الذي يفتقر لقدرة خطرة لا يمكن خداعه لاستخدامها.
تسريب البيانات بين المستخدمين
الفشل الذي ينهي المشاريع الداخلية، وهو خطأ استرجاع دائماً تقريباً لا فشل نموذج.
كيف يحدث: فهرس متجهي مشترك بلا ترشيح لكل مستخدم. يسأل المستخدم أ سؤالاً، فيعيد الاسترجاع أقرب المقاطع تطابقاً، وأحدها جاء من مستند المستخدم ب. فيلخّصه النموذج بأمانة.
والمنع معماري:
- رشّح عند الاسترجاع لا عند التوليد. استبعد المستندات التي لا يستطيع المستخدم الوصول إليها قبل أن يراها النموذج. فتوجيه النموذج بحجب المعلومات اقتراح لنظام احتمالي.
- افحص الصلاحيات وقت الاستعلام لا وقت الفهرسة، ليسري سحب الصلاحية فوراً.
- واختبر عدائياً. أنشئ حسابين بمستندات متمايزة وحاول عمداً استرجاع أحدهما من الآخر. فالفرق التي تتخطى هذا الاختبار تجد الخلل في الإنتاج.
وسجل المحادثة من الصنف نفسه. فحالة الجلسة المفهرسة بإهمال — ذاكرة مؤقتة مشتركة، أو معرّف سيّئ النطاق — تُظهر سجل مستخدم لآخر. اجعل نطاق كل مفتاح ذاكرة مؤقتة على المستخدم.
الحفظ والتدريب
السؤال الذي تجيب عنه الفرق أخيراً وينبغي أن تجيب عنه أولاً.
ثلاثة أمور تحددها قبل اختيار أي مزوّد:
- هل تُحفَظ المدخلات؟ ولكم من الوقت، ومن يصل إليها؟
- هل تُستخدم المدخلات للتدريب؟ كثير من الباقات الاستهلاكية الافتراضية تسمح بذلك. والمؤسسية عادةً لا — والفرق تعاقدي لا تقني.
- أين يجري الاستدلال؟ فهذا يحدد هل لديك نقل عابر للحدود.
ولماذا يهم عملياً: إن كان مساعد الدعم لديك يرسل رسائل العملاء لمزوّد يتدرب على المدخلات، فبيانات عملائك الآن في مجموعة تدريب. وهذا غير قابل للاسترداد، ومخالفة مباشرة لمعظم أوضاع الامتثال.
والنمط الذي تنتبه له: مطوّر يبني نموذجاً أولياً على حساب شخصي استهلاكي بشروط متساهلة، فيصبح النموذج الأولي تكامل الإنتاج، ولا يعيد أحد النظر في الشروط. افحص ما يستخدمه نظام الإنتاج لديك فعلاً.
وسجّل ما ترسله. فلا تستطيع الإجابة عن «أي بيانات ذهبت لأي مزوّد» بأثر رجعي بدونه — وهذا تحديداً السؤال المطروح أثناء حادثة أو مراجعة مشتريات.
ماذا تخزّن فعلاً
أنظمة الذكاء الاصطناعي تراكم بيانات حساسة في مواضع لا تعدّها الفرق مخازن بيانات.
سجلات المحادثات تحوي ما كتبه المستخدمون، والمستخدمون يكتبون ما لم تطلبه — أرقام هوية، وتفاصيل طبية، وبيانات اعتماد. طبّق سياسة الاحتفاظ نفسها التي تطبّقها على أي بيانات شخصية، وفكّر في إخفاء الأنماط الواضحة قبل التخزين.
والتضمينات المتجهية ليست مجهولة الهوية. فالنص قابل لإعادة البناء جزئياً منها. عامل قاعدة بياناتك المتجهية كأنها تحوي البيانات المصدر، لأنها كذلك عملياً — بما في ذلك لأغراض إقامة البيانات.
والذاكرات المؤقتة للتوجيهات تحتفظ بالسياق الأخير عند المزوّد. قصيرة العمر عادةً، لكن يستحق فهمها عند التعامل مع مواد حساسة.
وآثار التشخيص هي البند الصامت. فالأنظمة التي تسجّل توجيهات كاملة لاستكشاف الأخطاء ترسلها كثيراً لخدمة تسجيل خارجية — في بلد آخر غالباً. وهذا نقل لم يوثّقه أحد. راجع إقامة البيانات.
ضوابط تستحق البناء
مرتّبة بحسب القيمة مقابل الجهد:
1. قلّل ما ترسله. أرخص ضابط متاح. أخفِ المعرّفات قبل وصولها للنموذج. فمساعد الدعم نادراً ما يحتاج سجل العميل الكامل للإجابة عن سؤال حول سياسة الاسترجاع.
2. قيّد قدرة الأدوات. قراءة فقط حيثما أمكن. وتأكيد على أي شيء ذي أثر.
3. رشّح الاسترجاع بالمستخدم. قيد صارم، يُفحَص وقت الاستعلام.
4. سجّل الطلبات دون تسجيل المحتوى. دوّن أن طلباً حدث، وحجمه، وأي ميزة أطلقته — دون تخزين النص نفسه حيثما أمكن.
5. حدّ المعدل لكل مستخدم. يحدّ التكلفة ومحاولات الاستخراج الجماعي معاً.
6. راقب الشذوذ. فالارتفاع المفاجئ في الطلبات أو استهلاك الرموز يشير عادةً إلى خطأ برمجي أو إساءة استخدام. والتقاطه خلال ساعات بدل وقت الفاتورة هو الفرق بين حادثة وخسارة مشطوبة.
7. أبقِ إنساناً في الحلقة للمخرجات ذات الأثر. أوثق ضابط على الإطلاق، وأول ما تزيله الفرق تحت ضغط الكفاءة.
اقرأ أيضاً
- الامتثال التنظيمي الخليجي — الالتزامات القانونية.
- إقامة البيانات في الخليج — أين يجوز أن تجري المعالجة.
- الذكاء الاصطناعي للأعمال — تقييم حالة الاستخدام.
- RAG وقواعد المعرفة الذكية — أين يقع ترشيح الاسترجاع.
- أمان واجهات API — الطبقة التقليدية تحته.
- المساعد الذكي الداخلي — الصلاحيات عملياً.
الأسئلة الشائعة
ما هو حقن التوجيهات؟
نص يعالجه النموذج ويحوي تعليمات قد يتبعها، لأنه لا يستطيع التمييز الموثوق بين تعليماتك والمحتوى. ويصل عبر رسائل المستخدمين والمستندات المرفوعة وصفحات الويب المجلوبة وحتى حقول قاعدة البيانات التي ملأها المستخدمون. ولا دفاع كامل عنه، فالضابط المهم هو تحديد ما يستطيع النموذج فعله.
كيف أحمي من حقن التوجيهات؟
معمارياً لا بالترشيح. أعطِ النموذج أقل قدرة أدوات تتطلبها المهمة — فإن كان يقرأ فقط، لا يستطيع الحقن جعله يكتب. واشترط تأكيداً بشرياً لأي شيء يرسل أو يدفع أو يحذف. وعامل مخرجات النموذج كمدخل غير موثوق إن تدفقت لنظام آخر.
هل يستطيع نظام ذكاء اصطناعي تسريب بيانات عميل لآخر؟
نعم، وهو خطأ استرجاع عادةً لا فشل نموذج. فالفهرس المتجهي المشترك بلا ترشيح لكل مستخدم يعيد أقرب المقاطع تطابقاً بصرف النظر عن ملكيتها. رشّح عند الاسترجاع قبل أن يرى النموذج شيئاً، وافحص الصلاحيات وقت الاستعلام، واختبر عدائياً بحسابين.
هل تُستخدم بياناتي لتدريب النموذج؟
يعتمد كلياً على باقة مزوّدك. فكثير من الباقات الاستهلاكية الافتراضية تسمح بالتدريب على المدخلات؛ والمؤسسية عادةً لا. والفرق تعاقدي لا تقني. افحص ما يستخدمه نظام الإنتاج لديك فعلاً — فالنمط الشائع نموذج أولي بُني على حساب شخصي متساهل وأصبح تكامل الإنتاج بصمت.
هل التضمينات المتجهية مجهولة الهوية؟
لا. فالنص قابل لإعادة البناء جزئياً منها، لذا يجب معاملة قاعدة البيانات المتجهية كأنها تحوي البيانات المصدر — بما في ذلك لأغراض إقامة البيانات. والفرق التي تصنّف مخزن مستنداتها بعناية ثم تعامل الفهرس المتجهي كبيانات وصفية مشتقة قد أخطأت في التصنيف.
ماذا أسجّل في نظام ذكاء اصطناعي؟
ما يكفي للإجابة عن «أي بيانات ذهبت أين» دون إنشاء مخزن بيانات حساس ثانٍ. دوّن أن طلباً حدث وحجمه وأي ميزة أطلقته. وانتبه لآثار التشخيص التي تلتقط توجيهات كاملة — فهذه تُرسَل كثيراً لخدمات تسجيل خارجية في بلدان أخرى، وهو نقل عابر للحدود غير موثّق.
ما أكثر ضابط أمني فاعلية في الذكاء الاصطناعي؟
تحديد قدرة الأدوات. فمعظم الحوادث الخطيرة تتطلب أن يتخذ النموذج إجراءً — إرسالاً أو حذفاً أو دفعاً أو تغيير صلاحيات. والنموذج الذي يفتقر للقدرة لا يمكن خداعه لاستخدامها، ولهذا تتفوق البنية على الترشيح. اسأل ماذا ستفعل أسوأ تعليمة قد يتبعها النموذج، ثم أزل تلك القدرة.
الخلاصة
افترض أن الحقن سينجح وصمّم لذلك. فلا تستطيع منعه بموثوقية؛ لكنك تستطيع ضمان ألا يفعل الحقن الناجح شيئاً مكلفاً.
ورشّح الاسترجاع بالمستخدم بقيد صارم. فالتسريب بين المستخدمين خطأ استرجاع، وتوجيه النموذج بالتحفّظ ليس نظام صلاحيات.
واحسم شروط الحفظ والتدريب قبل التكامل لا بعده. فالبيانات في مجموعة تدريب غير قابلة للاسترداد، ومسار «النموذج الأولي يصبح إنتاجاً» هو كيف تصل معظم الفرق إلى هناك دون أن تلاحظ.
تبني ميزة ذكاء اصطناعي ببيانات حساسة؟ تواصل معنا — نحدد نطاق الضوابط مع الميزة لا بعدها. اطّلع على حلول الذكاء الاصطناعي.