클라우드플레어(Cloudflare)가 인공지능 산업에 새로운 기한을 제시했다. 내년 9월 15일부터 전통적 검색 목적의 웹 크롤러와 AI 학습·서비스용 크롤러를 구분하지 않는 「혼용 크롤러」를 광고가 있는 페이지에서 기본적으로 차단하겠다는 방침을 발표했다. 이 정책은 신규 고객과 기존 고객의 신규 사이트, 그리고 모든 무료 이용 고객에게 즉시 적용된다.
클라우드플레어는 이번 정책이 출판사와 콘텐츠 제작자들의 지적재산권 보호를 위한 조치라고 강조했다. 매튜 프린스(Matthew Prince) 클라우드플레어 공동 창업자이자 CEO는 성명에서 「인터넷 트래픽의 다수가 비인간 봇이 되는 시대에 지속 가능한 생태계가 형성되려면 더욱 신속하게 대응해야 한다」고 밝혔다. 최근 봇 트래픽이 인간 트래픽을 처음으로 앞지르는 역사적 전환점을 맞이한 상황이다.
특히 클라우드플레어는 구글(Google) 같은 대형 검색 엔진이 다른 AI 기업 대비 약 2배 많은 콘텐츠 접근권을 가지고 있다고 지적했다. 구글이 자신의 검색 서비스를 이용하지 않으면 콘텐츠 노출이 어려워지도록 만들었다는 비판이다. 이에 구글은 자사의 「구글 익스텐디드(Google Extended)」 봇을 통해 사이트 소유자가 AI 학습 목적의 크롤링을 선택 해제할 수 있다고 반박했다.
클라우드플레어는 출판사의 수익 창출을 돕기 위해 새로운 도구들도 제시했다. 「페이 퍼 크롤(Pay Per Crawl)」 마켓플레이스는 이제 「페이 퍼 유스(Pay Per Use)」로 진화하고 있으며, 이를 통해 출판사는 자신의 콘텐츠가 가치를 창출할 때마다 AI 기업에서 수익을 얻을 수 있다. 현재 세라믹 에이아이(Ceramic.ai)와 유닷컴(You.com) 등 두 파트너사와 협력하고 있으며, 다른 AI 기업들도 이 모델을 자신의 사업 방식에 맞춰 커스터마이징할 수 있다.