در تیرماه امسال، کلودفلر ابزار رایگانی را در اختیار صاحبان وب‌سایت‌ها قرار داد تا به‌وسیله آن بتوانند از وب اسکرپینگ یا استخراج محتوا برای آموزش مدل‌های زبانی بزرگ توسط شرکت‌های سازنده هوش مصنوعی جلوگیری کنند. اکنون این شرکت قصد دارد در سال 2025 یک مارکت‌پلیس راه‌اندازی کند تا صاحبان وب‌سایت‌ها بتوانند در ازای دادن اجازه اسکرپینگ، از سازندگان هوش مصنوعی مبلغی دریافت کنند.
«متیو پرینس» (Matthew Prince)، مدیرعامل کلودفلر به تک‌کرانچ می‌گوید: «اگر به هر طریقی به تولیدکنندگان [محتوا] هزینه نپردازید، آن‌ها دیگر چیزی خلق نمی‌کنند، و این مشکلی است که باید حل شود.»
اگرچه سایت‌های بزرگ مانند تایم یا فایننشال تایمز با شرکت‌های هوش مصنوعی قرارداد بسته‌اند، اما سایت‌های کوچک همچنان در ازای استخراج داده‌هایشان توسط بات‌های هوش مصنوعی سودی دریافت نمی‌کنند. برای جلوگیری از این امر و ناامیدی تولیدکنندگان محتوا، کلودفلر مدتی است که برنامه‌ها و ابزارهای مختلفی را راه‌اندازی کرده است.
از سال گذشته، استفاده مردم از ابزارهای هوش مصنوعی مولد بسیار افزایش یافته است، اما اگر مردم دیگر به‌جای مراجعه به وب‌سایت‌ها، صرفاً اطلاعات خود را از چت‌باتی مانند ChatGPT بگیرند، ناشران کوچک چگونه در عصر هوش مصنوعی زنده می‌مانند؟
امروزه، ارائه‌دهندگان مدل‌های هوش مصنوعی هزاران وب‌سایت کوچک را برای کسب داده‌های آموزش مدل‌های زبانی بزرگ خود، اسکرپ می‌کنند. اگرچه برخی از ناشران بزرگ‌تر برای دادن مجوز با OpenAI قرارداد بسته‌اند، اما عموماً وب‌سایت‌های کوچک هزینه‌ای دریافت نمی‌کنند، بااین‌حال محتوای آن‌ها همچنان به مدل‌های محبوب هوش مصنوعی راه پیدا می‌کند. این امر می‌تواند بسیاری از وب‌سایت‌ها را ورشکسته کند و ترافیک آن‌ها را کاهش دهد.
در اوایل تابستان 2024، استارتاپ Perplexity متهم شد که درخواست سایت‌ها برای عدم استخراج داده را نادیده می‌گیرد. مدت کوتاهی پس از این خبر، کلودفلر ابزاری را منتشر کرد تا مشتریان بتوانند تمام بات‌های اسکرپینگ هوش مصنوعی را با یک کلیک مسدود کنند.
اما اگر بخواهید بات‌های Perplexity را مسدود کنید، و بات‌های OpenAI را آزاد بگذارید، چه‌کار باید بکنید؟ مدیرعامل کلودفلر می‌گوید که مشتریان آن‌ها با ابزارهای جدید می‌توانند انتخاب کنند کدام مدل‌های هوش مصنوعی به سایت‌هایشان دسترسی داشته باشند. بااین‌حال ابزارهای کلودفلر به این مزیت محدود نمی‌شود؛ مارکت‌پلیس Cloudflare که در سال آینده میلادی راه‌اندازی می‌شود، قصد دارد به وب‌سایت‌ها و ناشران کوچک اجازه دهد تا با ارائه‌دهندگان مدل‌های هوش مصنوعی نیز وارد معامله شوند.
به‌زعم مدیرعامل کلودفلر، این مارکت‌پلیس در نهایت برای اکوسیستم هوش مصنوعی خوب است. پرینس می‌گوید چشم‌انداز کنونی، که در آن برخی از شرکت‌های هوش مصنوعی هرگز برای محتوا هزینه نمی‌کنند، پایدار نیست.
اطلاعات زیادی از این مارکت‌پلیس در دست نیست، برای مثال نمی‌دانیم که چگونه باید هزینه‌های اسکرپینگ را تعیین کرد، یا برای مثال چگونه می‌توان در ازای دادن دسترسی به بات‌های هوش مصنوعی، از شرکت سازنده آن اعتبار و مزایای خاصی گرفت.
