به گفته شرکت زیرساخت اینترنتی Cloudflare استارتاپ هوش مصنوعی Perplexity متهم به خزش (crawling) و داده‌برداری (scraping) از وب‌سایت‌هایی شده که صراحتاً اعلام کرده‌اند نمی‌خواهند محتوایشان مورد استفاده قرار گیرد .
روز دوشنبه، Cloudflare با انتشار گزارشی تحقیقاتی اعلام کرد که مشاهده کرده Perplexity به‌طور آگاهانه دستورات محدودکننده را نادیده گرفته و فعالیت‌های خود را برای خزش و داده‌برداری پنهان کرده است. محققان Cloudflare نوشتند که این شرکت تلاش کرده هویت خود را هنگام خزش صفحات وب مخفی کند تا بتواند محدودیت‌های اعمال‌شده از سوی وب‌سایت‌ها را دور بزند.
محصولات هوش مصنوعی مانند آنچه Perplexity ارائه می‌دهد، برای عملکرد خود به حجم زیادی از داده‌های اینترنتی نیاز دارند. استارتاپ‌های AI مدت‌هاست که متون، تصاویر و ویدیوها را بدون کسب اجازه از اینترنت جمع‌آوری می‌کنند تا مدل‌های خود را آموزش دهند.
در سال‌های اخیر، بسیاری از وب‌سایت‌ها تلاش کرده‌اند تا با استفاده از استاندارد وب موسوم به Robots.txt، دسترسی خزنده‌ها را کنترل کنند. این فایل به موتورهای جست‌وجو و شرکت‌های هوش مصنوعی اعلام می‌کند که کدام صفحات باید ایندکس شوند و کدام نباید. با این حال، اثربخشی این اقدامات تاکنون نتایج متناقضی داشته است.
اتهامات علیه Perplexity بار دیگر چالش اخلاقی و حقوقی پیرامون جمع‌آوری داده‌ها برای آموزش مدل‌های هوش مصنوعی را در کانون توجه قرار داده است.