طبق گزارش 404 Media، آمازون در حال خرید تعداد زیادی کتاب کمیاب است، سپس صفحات را از هم جدا می کنند و صفحاتشان را برای آموزش هوش مصنوعی اسکن میکند. این رسانه برای بررسی موضوع، یک دستگاه ردیاب را داخل یک کتاب کمیاب قرار داد و در نهایت دریافت که کتاب به یکی از مراکز آمازون در لاسوگاس منتقل شده است.
این مرکز که با نام VGT3 شناخته میشود، نمادی از یک دایناسور دارد که کتابی را در چنگالهای خود گرفته است. آمازون در بیانیهای به 404 Media اعلام کرد که «کتابها را از طریق کانالهای تجاری خریداری میکند تا محصولات و خدماتی را که مشتریان استفاده میکنند، بهبود دهد.»
شرکتهایی مانند آمازون برای آموزش مدلهای زبانی بزرگ خود به حجم بسیار زیادی از متن نیاز دارند. این مدلها تاکنون تقریباً هر آنچه را که میتوانستهاند از اینترنت جمعآوری کردهاند و در مورد شرکت آنتروپیک نیز حتی کتابهای منتشرشده بهصورت غیرقانونی و بدون مجوز در دادههای آموزشی آن استفاده شده است. کتابهای کمیاب، بهویژه آثاری که دیگر چاپ نمیشوند یا یافتن نسخه دیجیتال آنها در اینترنت تقریباً غیرممکن است، میتوانند منبع جدید و ارزشمندی از دادههای آموزشی باشند.
این متون از نظر دیگری نیز ارزش زیادی دارند، زیرا تقریباً مطمئن هستیم آثاری که پیش از سال ۲۰۲۲ منتشر شدهاند توسط مدلهای زبانی بزرگ نوشته نشدهاند. آموزش مدلهای زبانی با متون تولیدشده توسط هوش مصنوعی میتواند خطر «فروپاشی مدل» را افزایش دهد؛ وضعیتی که در آن کیفیت خروجیهای یک مدل زبانی پس از آنکه حجم زیادی از محتوای تولیدشده توسط هوش مصنوعی را در دادههای آموزشی خود دریافت میکند، کاهش مییابد.
