بر اساس یک مطالعه جدید، تعداد کمی از آزمایشگاههای بزرگ هوش مصنوعی برنامه مشخص و عمومی برای مهار و کنترل مدلهای هوش مصنوعی خود در شرایط بحرانی منتشر یا آزمایش کردهاند. منظور از برنامه مهار این است که اگر یک سیستم هوش مصنوعی تلاش کند کنترل انسان را دور بزند، مشخص باشد چه دسترسیهایی باید از آن گرفته شود و در چه شرایطی باید سیستم بهطور کامل خاموش شود. (TechCrunch)
این یافته مربوط به ارزیابی سازمان Guidelight AI Standards است؛ نهادی که بر توسعه ایمن مدلهای پیشرفته هوش مصنوعی تمرکز دارد. این سازمان پنج آزمایشگاه بزرگ شامل OpenAI، Anthropic، Google، Meta و xAI را از نظر آمادگی برای چنین شرایطی بررسی کرده است. در این ارزیابی، OpenAI بهترین عملکرد را داشت، در حالی که Anthropic و Meta در بخشهای مربوط به کنترل و مهار مدلها عملکرد ضعیفتری داشتند. با این حال، حتی شرکتهای دارای عملکرد بهتر نیز هیچکدام همه اقدامات مورد بررسی را بهطور کامل اجرا نکردهاند. (Guidelight AI Standards)
این موضوع با افزایش استفاده از هوش مصنوعیهای عامل یا Agentic AI اهمیت بیشتری پیدا کرده است؛ سیستمهایی که میتوانند بهصورت مستقلتر در سامانههای شرکتها فعالیت کنند. از سوی دیگر، قوانین و مقررات جدید در برخی ایالتهای آمریکا نیز شرکتهای هوش مصنوعی را به شفافیت بیشتر درباره اقدامات ایمنی و کنترل مدلها ملزم میکنند. (Reuters)
برای شرکتهایی که از این مدلها استفاده میکنند یا روی آنها سرمایهگذاری کردهاند، این مطالعه یکی از معدود ارزیابیهای مستقل درباره میزان آمادگی آزمایشگاههای بزرگ هوش مصنوعی برای مدیریت خطرات عملیاتی و کنترل مدلهای پیشرفته محسوب میشود.
