Cloudflare ابزار رایگان جدیدی منتشر کرده که از وب اسکرپینگ یا جمع‌آوری اطلاعات وب‌سایت‌ها توسط شرکت‌های سازنده هوش مصنوعی برای آموزش مدل‌های زبانی بزرگ خود جلوگیری می‌کند. این ابزار در دسترس تمام مشتریان کلودفلر (از جمله افراد دارای طرح‌های رایگان) قرار گرفته است.
تیم کلودفلر در پست وبلاگ مربوط به این خبر همچنین داده‌هایی را درباره نحوه واکنش مشتریان خود نسبت به رشد ربات‌هایی که برای آموزش مدل‌های هوش مصنوعی داده‌ها را استخراج می‌کنند، به اشتراک گذاشته است. طبق این داده‌ها، 85.2 درصد از مشتریان Cloudflare از دسترسی این ربات‌ها به سایت‌های خود جلوگیری می‌کنند.
Cloudflare همچنین درباره فعال‌ترین ربات‌های سال گذشته اطلاعاتی ارائه کرده است. ربات Bytespider متعلق به شرکت چینی بایت‌دنس (مالک تیک‌تاک) سعی کرده تا در سال گذشته به 40 درصد از وب‌سایت‌های تحت‌نظر کلودفلر دسترسی پیدا کند. این میزان برای GPTBot متعلق به OpenAI به‌اندازه 35 درصد گزارش شده است.
لیست چهار ربات برتری که برای آموزش مدل‌های هوش مصنوعی در سال گذشته تلاش کرده‌اند به اطلاعات وب‌سایت مشتریان کلودفلر دسترسی پیدا کنند، با Amazonbot و ClaudeBot تکمیل می‌شود.
این شرکت در بیانیه خود می‌گوید:
«از این موضوع می‌ترسیم که برخی از شرکت‌های هوش مصنوعی که قصد دور زدن قوانین برای دسترسی به محتواها را دارند، به‌طور مداوم بتوانند از شناسایی‌شدن فرار کنند. ما همچنان به نظارت خود ادامه می‌دهیم و بخش‌های بیشتری را به قانون Scrapers و Crawlerهای هوش مصنوعی اضافه می‌کنیم و مدل‌های یادگیری ماشینی خود را تکامل می‌دهیم تا اینترنت را به مکانی تبدیل کنیم که سازندگان محتوا بتوانند در آن رشد کنند و کنترل کاملی روی مدل‌هایی داشته باشند که از محتوایشان برای آموزش استفاده می‌کنند.»
