مایکروسافت روز دوشنبه از قابلیت‌های امنیتی جدیدی رونمایی کرد که برای محافظت از سازمان‌ها در برابر تهدیدهای فزاینده ناشی از عامل‌های هوش مصنوعی طراحی شده‌اند. این اقدام در حالی انجام می‌شود که مایکروسافت همچنان درباره خطرات استفاده از هوش مصنوعی و عامل‌های آن به شرکت‌ها هشدار می‌دهد.
یکی از مهم‌ترین قابلیت‌های جدید، «عامل‌های نگهبان» (Guardian Agents) نام دارد که برای نظارت بر عامل‌های هوش مصنوعی مورد استفاده در سازمان‌ها طراحی شده است. این قابلیت بخشی از پروژه Perception مایکروسافت است که در ماه ژوئن معرفی شد.
پروژه Perception در ابتدا برای مقابله با مدل‌های قدرتمند هوش مصنوعی در حوزه هک و امنیت، مانند مدل‌های Mythos و Fable شرکت آنتروپیک و سامانه Daybreak شرکت OpenAI برای شناسایی آسیب‌پذیری‌های امنیتی، توسعه داده شد. این پروژه در نسخه اولیه خود سه گروه از عامل‌های هوش مصنوعی داشت: گروه قرمز که مانند هکرها عمل می‌کرد و به سامانه‌ها حمله می‌کرد؛ گروه آبی که حملات را شناسایی و آسیب‌پذیری‌های کشف‌شده را ارزیابی می‌کرد؛ و گروه سبز که وظیفه برطرف کردن این آسیب‌پذیری‌ها را بر عهده داشت.
این محصول بر اساس این فرض طراحی شده بود که تهدیدهای مبتنی بر هوش مصنوعی از خارج سازمان‌ها سرچشمه می‌گیرند. اما اخیراً ساتیا نادلا، مدیرعامل مایکروسافت، هشدار داده است که تهدید امنیتی ممکن است از سوی همان عامل‌های هوش مصنوعی ایجاد شود که شرکت‌ها خودشان به کار گرفته‌اند و برای استفاده از آن‌ها هزینه می‌پردازند. این وضعیت شباهت زیادی به تهدیدهای داخلی دارد؛ اصطلاحی که برای توصیف خطرات ناشی از کارکنان متخلف یا افراد دارای دسترسی مجاز به سامانه‌های یک سازمان استفاده می‌شود.
نادلا در اوایل ماه جاری میلادی، در وبلاگ شخصی خود هشدار داد که شرکت‌ها باید از اعتماد کامل به ارائه‌دهندگان مدل‌های هوش مصنوعی دست بردارند؛ حتی اگر این شرکت‌ها درباره ایمنی و امنیت محصولات مبتنی بر عامل‌های هوش مصنوعی خود اطمینان بدهند.
او معتقد است سازمان‌ها باید سامانه‌های نظارتی مستقلی ایجاد کنند که تحت کنترل شرکت‌های توسعه‌دهنده هوش مصنوعی نباشند. این سامانه‌ها باید بتوانند عامل‌هایی را که محصولات شرکت‌های هوش مصنوعی اجرا می‌کنند، زیر نظر بگیرند و فعالیت‌های آن‌ها را کنترل کنند.
