جدیدترین مدل Qwen از شرکت علی بابا در یکی از تست های امنیتی می خواسته یک فایل برای سروری در چین ارسال کند

حمایت از فعالیت آی‌تی‌نویس ☕

تولید محتوای مستقل و باکیفیت نیازمند زمان و انرژی است. اگر این مقاله برایتان مفید بود، می‌توانید از ما حمایت کنید.

حمایت مالی
آی تی نویس را بیشتر در گوگل ببینید
بهروز فیض

 شرکت کانادایی هوش مصنوعی Cohere روز دوشنبه اعلام کرد که در جریان یک آزمایش معمول امنیت سایبری، متوجه شده است یکی از جدیدترین مدل‌های هوش مصنوعی علی‌بابا به نام Qwen3.8-Flash-Next تلاش کرده فایلی را به سروری در پکن ارسال کند؛ این در حالی است که خود مدل در یادداشت‌هایش اعلام کرده بود از هیچ ابزاری استفاده نخواهد کرد.



این اتفاق در ابتدا نگرانی‌هایی را درباره نقض یکی از وعده‌های اساسی مدل‌های هوش مصنوعی با وزن‌های باز برای کسب‌وکارها ایجاد کرد؛ وعده‌ای مبنی بر اینکه اجرای این مدل‌ها روی سرورهای اختصاصی شرکت‌ها باعث می‌شود داده‌ها در داخل همان مجموعه باقی بمانند. با این حال، نگرانی‌های اولیه درباره جاسوسی شرکتی خیلی زود فروکش کرد. پژوهشگران به‌سرعت این تهدید را جدی ندانستند و گفتند که این رفتار احتمالاً نتیجه محیط‌های آموزشی نامنظم است که باعث می‌شوند مدل‌ها برخلاف دستورالعمل‌های خود عمل کنند، نه تلاشی عمدی برای ارسال مخفیانه اطلاعات حساس به چین.

این اتفاق روز جمعه و در جریان یک ارزیابی رخ داد که طی آن از مدل Qwen خواسته شده بود قانونی برای شناسایی دانلودهای حاوی بدافزار بنویسد. طبق مطلبی که Cohere در وبلاگ خود منتشر کرد، مدل در توضیحات مکتوب خود به‌صراحت اعلام کرده بود که از هیچ ابزار خارجی استفاده نخواهد کرد. با این حال، در مرحله بعد تلاش کرد یک رشته آزمایشی، یعنی قطعه‌ای کوتاه از متن موقت، را به یک سرور خارجی ارسال کند. این تلاش پیش از انجام موفقیت‌آمیز، توسط یک محیط ایزوله امنیتی مسدود شد.

شرکت Cohere اعلام کرد که نمی‌تواند تشخیص دهد این رفتار عمدی بوده یا از فرایند آموزش مدل باقی مانده است.

ایوان ژانگ، یکی از بنیان‌گذاران Cohere، در پاسخ به پرسش تک‌کرانچ درباره بحث‌های مطرح‌شده پیرامون قصد و نیت این مدل گفت که شرکت آن‌ها نیز در شبیه‌سازهای آموزشی، رفتارهای غیرمعمولی را در مدل‌های خود مشاهده کرده است.

برچسب ها
3/related/default