검색은 남기고 AI 학습만 거부한다…Cloudflare 설정의 함정
AI 및 자동화 3
Firecrawl에 7500만 달러…웹 크롤링을 ‘지식 구매’로 확장한다
Firecrawl은 2026년 9월 22일 공식 발표 에서 Smash Capital이 주도한 7500만 달러 시리즈 B 투자 유치와 Alexandria 출시를 알렸다. 웹페이지 수집 도구에 공식 데이터 공급자, 자체 색인, 맞춤형 커넥터를 연결하고, 조달 자금의 상당 부분은 지식 제공자에게 대가를 지급하는 데 사용할 계획이다. 이미 계약한 공급자에게 돈을 지급하고 있지만, 개인 기여자가 직접 참여하는 보상 체계는 아직 계획 단계다.
같은 날 Axios의 투자 집계 는 라운드 규모와 주도사를 확인하고 Altos Ventures, Nexus Venture Partners, Y Combinator, Freestyle, Offline Ventures의 참여를 전했다. Alexandria는 공개 웹을 읽는 기존 기능을 없애는 서비스가 아니라, 에이전트가 자료원을 찾고 제공 범위를 살핀 다음 필요한 데이터를 호출할 수 있게 접근 경로를 넓힌 제품이다. 이번 동시 발표는 공급자 연결과 데이터 구매가 제품 확장에 어떻게 맞물리는지를 보여준다.
투자금의 용처는 크롤러 밖에 있다
Firecrawl의 기존 사업은 URL을 받아 페이지를 불러오고 렌더링·파싱·정리를 거쳐 AI가 사용할 수 있는 형태로 돌려주는 것이었다. Alexandria는 이 기능 위에 검색과 외부 자료 접근을 얹는다. 페이지에 게시되지 않았거나 별도의 API와 계약을 거쳐야 하는 정보까지 에이전트가 한 연결에서 찾도록 하려는 방향이다.
이때 ‘지식 구매’는 웹에 공개된 모든 글의 저작권을 한꺼번에 사들이는 뜻이 아니다. 현재의 지급은 공식 데이터 공급자와 맺은 개별 계약에 따른 접근 대금이다. 회사가 앞으로 열겠다는 개인·콘텐츠 제작자용 셀프서비스 참여 경로는 출시 전이므로, 새로운 기여자가 어떤 기준으로 얼마나 받을지는 공개 발표만으로 확정할 수 없다.
투자금의 일부는 검색 개선, 더 깊은 색인 구축, 새로운 원천 공급자 연결에도 쓰일 예정이다. 따라서 이번 라운드의 사업상 의미는 크롤링 호출량을 키우는 데 그치지 않는다. 기존 고객이 별도로 찾아야 했던 자료 공급자를 Firecrawl의 검색·호출 흐름 안으로 데려오고, 그 접근에 가격과 이용 조건을 붙이는 중개 사업으로 범위를 넓히는 것이다.
Alexandria는 어떤 자료를 어디서 가져오나
라이브 웹 경로는 현재 공개된 페이지를 읽는다. 새로 바뀐 페이지를 다시 가져올 수 있다는 장점이 있지만, 사이트 구조가 달라지면 추출 방식도 영향을 받을 수 있다. 페이지를 기술적으로 읽을 수 있는 것과 수집한 내용을 다른 서비스에서 재배포할 권한을 얻는 것은 별개의 문제다.
공식 데이터 공급자 경로는 보유자나 허가된 유통자가 관리하는 API에 연결한다. 자료를 페이지에서 반복 추출할 필요를 줄일 수 있지만, 계약상 허용 용도와 사용료, 접근 권한을 따져야 한다. 공급자가 원본을 갱신하는 방식에 따라 최신성도 달라지므로 ‘한 API’라는 표면 아래에 서로 다른 제공 조건이 존재한다.
Firecrawl 자체 색인은 자료를 발견하고 검색하는 경로다. Research Index는 학술논문 초록, Developer Index는 개발 문서와 README, 이슈 및 병합된 풀리퀘스트, Government Index는 법률·규정·조례를 다룬다. 색인에서 관련 항목을 찾는 일은 원문 전체를 자유롭게 재사용할 권리를 얻는 일과 같지 않다. 검색 결과가 가리키는 원천 자료와 실제 이용 범위를 구분해야 하는 이유다.
맞춤형 커넥터와 워크플로는 공통 웹 검색이나 자체 색인으로 다루기 어려운 자료원에 접근하는 통로다. 에이전트는 공급자가 제공하는 기능을 찾아보고 필요한 입력과 결과 형태를 파악한 뒤 도구를 실행할 수 있다. 자료원마다 자체 API를 따로 연결하던 작업을 줄이는 구조지만, 커넥터가 늘어난다고 각 공급자의 약관과 데이터 품질이 같아지는 것은 아니다.
Wikimedia 계약이 보여주는 비용과 권리의 차이
Search Engine Watch의 분석 에 따르면 Wikimedia Enterprise와 Firecrawl의 협력은 Alexandria보다 앞서 시작됐다. 이전에는 위키백과 페이지를 반복 수집하고 HTML을 해석해야 했지만, 공식 API를 통하면 정돈된 형식으로 직접 접근할 수 있다. 그 직접 접근에는 공급자에게 지급하는 대금이 붙는다.
이 사례는 콘텐츠의 이용 허락과 전달 서비스의 가격을 구별하게 한다. 위키미디어 콘텐츠 자체는 자유 라이선스로 제공되지만, 대량 요청과 더 잦은 갱신, 서비스 보장이 필요한 사업자는 Enterprise의 유료 제공 방식을 택할 수 있다. 돈을 낸 대상은 개별 문장의 독점 소유권이 아니라 안정적으로 데이터를 받는 경로와 운영 조건이다.
Alexandria에서도 자료원을 발견하는 단계와 실제 호출 단계가 분리된다. 도구를 찾는 데에는 비용이 들지 않지만, 실행할 때는 표시된 크레딧이 청구되며 공급자에 따라 조직 관리자의 약관 동의가 먼저 필요하다. 같은 검색 결과에 노출된 도구라도 호출 가격과 허용 범위는 서로 다르다. 개발자가 한 인터페이스로 접근하더라도 청구와 권리 관계까지 하나로 합쳐지는 것은 아니다.
공개 웹을 직접 수집할 때는 페이지 처리 비용과 사이트 변경에 따른 유지 부담이 중심이 된다. 공급자 데이터를 호출할 때는 여기에 데이터 사용료와 계약상 조건이 더해진다. 어느 방식이 적합한지는 자료가 웹에 실제로 있는지, 얼마나 자주 바뀌는지, 필요한 응답 형식이 무엇인지, 최종 서비스가 결과를 어떻게 사용할지에 달려 있다. 이를 같은 ‘검색’ 비용으로 묶으면 기술 비용과 라이선스 비용의 차이가 가려진다.
출시된 기능과 아직 정해지지 않은 보상
Alexandria는 Firecrawl API와 MCP를 통해 에이전트에 연결할 수 있다. 다만 특정 자료를 실제로 호출할 수 있는지는 연결된 공급자의 범위와 계정 권한, 별도 약관에 좌우된다. 기능이 공개됐다는 사실만으로 모든 지식에 자유롭게 접근할 수 있다는 뜻은 아니다.
현재 확인되는 지급 사례는 Wikimedia Enterprise를 포함한 기존 공식 공급자 계약이다. 셀프서비스 보상 체계의 정식 개방 일정, 지급 단가, 수익 배분율은 아직 제시되지 않았다. Alexandria가 공급자와 개발자를 얼마나 넓게 연결할지는 앞으로 추가되는 자료원과 공개될 계약 조건에 따라 판단할 수 있다. 웹 수집에서 유료 데이터 조달로 넓어지는 방향은 분명하지만, 기여자에게 돌아갈 몫과 데이터 갱신 책임의 세부 기준은 뒤이어 확인해야 한다.
함께 읽기:
관련 기사
뉴스레터 구독
최신 Web3, AI, 암호화폐 뉴스를 이메일로 받아보세요.
0