Fractile, Quasa에서 살펴보기: 차세대 AI 추론 칩

#Quasa #QUA #fractile

Fractile은 최첨단 모델의 추론을 획기적으로 가속하도록 설계된 특수 프로세서를 개발하는 영국의 딥테크 기업입니다. 핵심 혁신은 동일한 실리콘 위에 메모리와 연산 장치를 물리적으로 교차 배치하는 것입니다. — 이 아키텍처는 현재 대규모 언어 모델 추론의 속도와 비용을 모두 제약하는 기존의 메모리와 처리 장치 간 분리 구조를 극복합니다.

Fractile은 트랜지스터 수준의 설계부터 클라우드 추론 소프트웨어까지 아우르는 풀스택 접근 방식을 통해 낮은 지연 시간과 높은 처리량을 동시에 제공하는 것을 목표로 합니다. 회사는 자사 프로세서가 가장 발전된 모델을 기존 솔루션보다 최대 25× 빠르게, 약 1/10th의 비용으로 실행하면서 수천 명의 동시 사용자에게 초당 수천 개의 토큰을 효율적으로 제공할 수 있다고 주장합니다.

이러한 성능 향상은 현재의 배포 환경을 최적화할 뿐 아니라 새로운 가능성도 열어 줄 것으로 기대됩니다. 훨씬 긴 컨텍스트 윈도와 복잡한 자율 작업이 가능해지고, 현재 사람이 며칠에 걸쳐 수행해야 하는 작업(예: 연구 또는 대규모 소프트웨어 개발)을 몇 분으로 단축할 수도 있습니다.

Fractile은 Accel, Factorial Funds, Peter Thiel의 Founders Fund를 비롯한 투자자들로부터 $220 million을 유치했습니다. 팀은 브리스톨과 런던을 거점으로 활동하며 하드웨어, 소프트웨어, AI 시스템 분야의 깊이 있는 전문성을 결합하고 있습니다.

Fractile은 최첨단 모델을 대규모로 운영하면서 훨씬 빠르고 비용 효율적인 추론이 필요한 AI 연구소, 클라우드 제공업체, 기업에 적합합니다.

주요 특징

• 메모리와 연산 장치를 교차 배치한 혁신적인 아키텍처.
• ~1/10th의 비용으로 최대 25× 빠른 추론이 가능하다고 주장.
• 낮은 지연 시간과 높은 처리량을 동시에 구현하도록 설계.
• 실리콘부터 소프트웨어까지 아우르는 풀스택 개발.
• 탄탄한 투자 유치와 경험 풍부한 기술팀.

• 고려할 사항

• 하드웨어는 아직 개발 중(상용 칩은 추후 출시 예정).
• 현재 성능 수치는 내부 결과와 시뮬레이션을 기반으로 함.
• 대규모 추론 인프라를 계획하는 조직에 가장 적합.

종합 평가: 별점 4.6/5

Fractile은 현대 AI의 가장 중요한 병목 현상 중 하나인 최첨단 모델 추론의 높은 비용과 제한된 속도 문제를 해결하고 있습니다. 메모리와 연산 장치의 관계를 실리콘 수준에서 재설계함으로써, 이 회사는 고급 AI 모델 운영의 경제성을 크게 바꿀 잠재력을 갖추고 있습니다.

여러분도 Quasa.io에 리뷰를 작성하고 QUA 보상을 받으세요!

시작하기: https://quasa.io/projects/fractile