Fractile — recenzja na Quasa: układy nowej generacji do inferencji AI

#Quasa #QUA #fractile

Fractile to brytyjska firma z sektora zaawansowanych technologii, która tworzy wyspecjalizowane procesory zaprojektowane z myślą o radykalnym przyspieszeniu inferencji najbardziej zaawansowanych modeli. Jej kluczową innowacją jest fizyczne przeplatanie pamięci i jednostek obliczeniowych w tym samym układzie krzemowym — architektura, która przezwycięża tradycyjne rozdzielenie pamięci i przetwarzania, ograniczające obecnie zarówno szybkość, jak i efektywność kosztową inferencji dużych modeli językowych.

Dzięki podejściu obejmującemu cały stos technologiczny (od projektowania na poziomie tranzystorów po oprogramowanie do inferencji w chmurze) Fractile dąży do jednoczesnego zapewnienia niskich opóźnień i wysokiej przepustowości. Firma twierdzi, że jej procesory mogą uruchamiać najbardziej zaawansowane modele nawet 25× szybciej, przy kosztach wynoszących około 1/10th kosztów istniejących rozwiązań, a przy tym wydajnie dostarczać tysiące tokenów na sekundę tysiącom jednoczesnych użytkowników.

Oczekuje się, że ten wzrost wydajności nie tylko zoptymalizuje obecne wdrożenia, lecz także otworzy nowe możliwości: znacznie dłuższe okna kontekstowe oraz złożone zadania autonomiczne (takie jak badania czy tworzenie oprogramowania na dużą skalę), które dziś wymagają wielu dni ludzkiej pracy, mogłyby potencjalnie zostać wykonane w ciągu minut.

Fractile pozyskało $220 million od inwestorów, wśród których są Accel, Factorial Funds oraz Founders Fund Petera Thiela. Zespół pracuje w Bristolu i Londynie, łącząc dogłębną wiedzę z zakresu sprzętu, oprogramowania i systemów AI.

Fractile to idealne rozwiązanie dla laboratoriów AI, dostawców usług chmurowych i przedsiębiorstw, które potrzebują radykalnie szybszej i bardziej opłacalnej inferencji najbardziej zaawansowanych modeli na dużą skalę.

Najważniejsze cechy

• Innowacyjna architektura z przeplatającymi się pamięcią i jednostkami obliczeniowymi.
• Według deklaracji inferencja nawet 25× szybsza przy kosztach wynoszących ~1/10th dotychczasowych kosztów.
• Konstrukcja zapewniająca jednocześnie niskie opóźnienia i wysoką przepustowość.
• Rozwój całego stosu technologicznego od krzemu po oprogramowanie.
• Solidne finansowanie i doświadczony zespół techniczny.

• Kwestie do rozważenia

• Sprzęt jest nadal w fazie rozwoju (układy komercyjne są spodziewane w późniejszym terminie).
• Obecne dane dotyczące wydajności opierają się na wynikach wewnętrznych testów i symulacjach.
• Najbardziej przydatne dla organizacji planujących infrastrukturę do inferencji na dużą skalę.

Ocena ogólna: 4.6/5 gwiazdek

Fractile mierzy się z jednym z najpoważniejszych ograniczeń współczesnej AI — wysokimi kosztami i ograniczoną szybkością inferencji najbardziej zaawansowanych modeli. Dzięki przeprojektowaniu relacji między pamięcią a jednostkami obliczeniowymi na poziomie krzemu firma ma szansę znacząco zmienić ekonomikę uruchamiania zaawansowanych modeli AI.

Ty też zdobądź nagrodę w QUA, publikując recenzję na Quasa.io!

Zacznij: https://quasa.io/projects/fractile