تاریخچه تحقیقات پزشکی نشان می‌دهد که بیشتر آزمایش‌های بالینی و مطالعات علمی عمدتاً بر مردان سفیدپوست تمرکز داشته‌اند، و همین باعث شده زنان و افراد رنگین‌پوست در این حوزه به‌طور قابل‌توجهی نادیده گرفته شوند. حالا، طبق گزارشی از فایننشال تایمز، نتیجه وارد کردن این داده‌های ناقص به مدل‌های هوش مصنوعی، بروز تبعیض‌های جدید در سیستم‌های درمانی است؛ به‌طوری‌که ابزارهای هوش مصنوعی مورد استفاده پزشکان، نتایج درمانی ضعیف‌تری برای گروه‌هایی تولید می‌کنند که پیش‌تر در تحقیقات کمتر دیده شده‌اند.
مطالعه‌ای از مؤسسه فناوری ماساچوست (MIT) نشان داده که مدل‌های زبانی بزرگ مانند GPT-4 از OpenAI و Llama 3 از Meta بیشتر احتمال دارد که به‌اشتباه میزان مراقبت از بیماران زن را کاهش دهند. زنان بیشتر از مردان توصیه می‌شوند که خودشان در خانه مراقبت کنند و در نتیجه، در محیط‌های درمانی کمتر تحت مراقبت قرار می‌گیرند. هرچند این مدل‌ها عمومی هستند و برای کاربرد پزشکی طراحی نشده‌اند، اما حتی مدل تخصصی Palmyra-Med نیز دچار همین نوع سوگیری‌ها بوده است. بررسی دیگری از مدل Gemma متعلق به گوگل توسط مدرسه اقتصاد لندن نشان داد که نیازهای زنان در مقایسه با مردان کمتر مورد توجه قرار می‌گیرد.
مطالعات قبلی نیز نشان داده‌اند که مدل‌های هوش مصنوعی در مواجهه با مسائل سلامت روان، به افراد رنگین‌پوست کمتر همدلی نشان می‌دهند. مقاله‌ای در نشریه The Lancet در سال گذشته گزارش داد که GPT-4 اغلب به نژاد، قومیت و جنسیت خاصی برچسب‌های کلیشه‌ای می‌زند و تشخیص‌ها و توصیه‌های درمانی‌اش بیشتر بر اساس ویژگی‌های جمعیتی است تا علائم واقعی بیماری. این مقاله نتیجه‌گیری کرده که برنامه‌های درمانی تولیدشده توسط مدل‌ها با ویژگی‌های جمعیتی ارتباط معناداری دارند و در برخی موارد، به افراد خاصی توصیه‌های گران‌قیمت‌تری داده می‌شود یا برداشت متفاوتی از وضعیت بیمار ارائه می‌شود.
این موضوع در شرایطی نگران‌کننده‌تر می‌شود که شرکت‌هایی مانند گوگل، متا و OpenAI در تلاش‌اند تا ابزارهای خود را وارد بیمارستان‌ها و مراکز درمانی کنند. این بازار بسیار سودآور است، اما در عین حال می‌تواند پیامدهای جدی برای گسترش اطلاعات نادرست داشته باشد. اوایل امسال، مدل Med-Gemini گوگل به‌دلیل ساختن یک عضو خیالی بدن خبرساز شد؛ اشتباهی که شاید برای یک پزشک قابل تشخیص باشد، اما سوگیری‌ها اغلب پنهان و ناخودآگاه‌اند. آیا یک پزشک می‌تواند تشخیص دهد که مدل هوش مصنوعی در حال بازتولید کلیشه‌های قدیمی پزشکی درباره یک فرد است؟ هیچ‌کس نباید این را به‌سختی و با تجربه تلخ بفهمد.