ابتکار جدیدی از سوی نهادهای ناظر پشت پروژه Retraction Watch (نظارت بر پس‌گرفتن مقالات) در حال هدف قرار دادن پژوهش‌های پزشکی ناقص یا جعلی است — آن هم با بودجه‌ای نزدیک به یک میلیون دلار.
مرکز صداقت علمی (The Center for Scientific Integrity) به‌تازگی پروژه‌ای دو ساله با نام پروژه شواهد پزشکی راه‌اندازی کرده است. هدف این پروژه شناسایی پژوهش‌های پزشکی منتشرشده‌ای است که تأثیر منفی بر دستورالعمل‌های سلامت دارند — و اطمینان از اینکه عموم مردم واقعاً از آن مطلع می‌شوند.
با بهره‌گیری از کمک‌هزینه‌ای ۹۰۰ هزار دلاری از سوی Open Philanthropy و تیمی متشکل از حداکثر پنج پژوهشگر، این پروژه از ابزارهای متاعلم جنایی (forensic metascience) برای بررسی مقالات علمی استفاده خواهد کرد و یافته‌های خود را از طریق وب‌سایت Retraction Watch، مرجع اصلی نظارت بر پژوهش‌های علمی، منتشر خواهد کرد.
ایوان اورانسکی، مدیر اجرایی مرکز و یکی از بنیان‌گذاران Retraction Watch، در بیانیه‌ای درباره این کمک‌هزینه گفت:
«ما در ابتدا مرکز صداقت علمی را برای میزبانی از Retraction Watch راه‌اندازی کردیم، اما همیشه امیدوار بودیم بتوانیم در زمینه پاسخگویی پژوهشی گام‌های بیشتری برداریم. پروژه شواهد پزشکی به ما این امکان را می‌دهد که تحلیل‌های انتقادی را پشتیبانی کرده و یافته‌ها را منتشر کنیم.»
بر اساس گزارش Nature، این مقالات ناقص یا جعلی مشکل‌ساز هستند چون می‌توانند نتایج تحلیل‌های فراگیر (meta-analysis) را منحرف کنند — بررسی‌هایی که با ترکیب نتایج چندین مطالعه به نتایج آماری قوی‌تری می‌رسند. حتی اگر یکی‌دو مطالعه نادرست وارد یک متاآنالیز شوند، می‌توانند بر سیاست‌های سلامت تأثیر بگذارند.
برای مثال، در سال ۲۰۰۹، یک دستورالعمل اروپایی توصیه کرد که در جراحی‌های غیرقلبی از بتابلوکرها استفاده شود — توصیه‌ای بر پایه پژوهش‌هایی از اوایل دهه ۲۰۰۰ که بعدها مورد تردید قرار گرفتند. سال‌ها بعد، یک بررسی مستقل نشان داد که این توصیه شاید باعث مرگ سالانه ۱۰ هزار نفر در بریتانیا شده باشد.
رهبری این پروژه را جیمز هیترز، مشاور در زمینه صداقت علمی، بر عهده دارد. تیم او برنامه دارد ابزارهای نرم‌افزاری بسازد، به سرنخ‌هایی از افشاگران ناشناس پیگیری کند، و به داوران علمی برای بازبینی یافته‌ها دستمزد بدهد. آن‌ها هدف دارند هر سال حداقل ۱۰ متاآنالیز معیوب را شناسایی کنند.
تیم پروژه زمان‌بندی دقیقی را انتخاب کرده است. همان‌طور که Gizmodo پیش‌تر گزارش داده بود، تولیدات علمی جعلی با استفاده از هوش مصنوعی در حال سیل‌زدن فضای آکادمیک دیجیتال هستند — از گزارش‌های همایش‌ها گرفته تا مجلات علمی داوری‌شده. مطالعه‌ای که در بررسی اطلاعات نادرست مدرسه کندی هاروارد منتشر شد، نشان داد که دو سوم مقالات نمونه‌برداری‌شده از Google Scholar نشانه‌هایی از محتوای تولیدشده توسط GPT را داشتند — حتی در نشریات علمی معتبر. حدود ۱۴.۵٪ از این مقالات جعلی، متمرکز بر موضوعات سلامت بودند.
این موضوع نگران‌کننده است، چون Google Scholar بین مقالات داوری‌شده، پیش‌چاپ‌ها، مقالات دانشجویی و کارهای کم‌اعتبار دیگر تمایز قائل نمی‌شود. و وقتی این‌گونه محتوای جانبی وارد متاآنالیزها می‌شوند یا توسط پزشکان نقل می‌شوند، آثارشان به‌سختی قابل تفکیک خواهد بود. یکی از پژوهشگران به Gizmodo گفت:
«اگر نتوانیم به اصالت پژوهشی که می‌خوانیم اعتماد کنیم، تصمیمات خود را بر پایه اطلاعات نادرست خواهیم گرفت.»
ما پیش‌تر دیده‌ایم که چطور محتوای بی‌پایه می‌تواند از فیلترها عبور کند. در سال ۲۰۲۱، ناشر Springer Nature بیش از ۴۰ مقاله را از Arabian Journal of Geosciences پس گرفت — مقالاتی آن‌قدر بی‌ربط که شبیه جملات ساختگی تولیدشده توسط هوش مصنوعی بودند. فقط سال گذشته، انتشارات Frontiers مجبور شد مقاله‌ای را که شامل تصاویر غیرممکن و ساختگی از اندام تناسلی موش‌ها بود، حذف کند.
ما وارد دوران فسیل‌های دیجیتال شده‌ایم؛ دورانی که مدل‌های هوش مصنوعی آموزش‌دیده با داده‌های اینترنتی، شروع به حفظ و تکرار عبارات بی‌معنا می‌کنند؛ انگار که اصطلاحات علمی واقعی هستند. برای مثال، اوایل امسال گروهی از پژوهشگران مجموعه‌ای از واژه‌های بی‌معنا از مقاله‌ای زیست‌شناسی متعلق به ۱۹۵۹ را در خروجی مدل‌هایی چون GPT-4o پیدا کردند.
در چنین شرایطی، هدف پروژه شواهد پزشکی بیشتر به اقدامات اورژانسی شباهت دارد تا پاکسازی. این تیم با انبوهی از اطلاعات معیوب که به‌سادگی دیده نمی‌شوند روبروست — اطلاعاتی که بسیاری از آن‌ها در صورت برداشت سطحی می‌توانند پیامدهای جدی برای سلامت عمومی داشته باشند.