Portkey – шлюз AI і платформа кіравання LLMOps для праграм з некалькімі мадэлямі | Quasa.io

#Quasa #QUA #Portkey

Portkey — гэта шлюз AI і платформа кіравання LLMOps, якая размяшчаецца паміж вашай праграмай і мадэлямі, да якіх вы звяртаецеся. Адзін API, сумяшчальны з OpenAI, накіроўвае трафік паміж 1,600+ мадэлямі і 40+ пастаўшчыкамі, забяспечваючы пераключэнне на рэзервовыя варыянты, балансаванне нагрузкі, паўторныя спробы, кэшаванне, журналы, трасіроўкі, адсочванне выдаткаў, ахоўныя абмежаванні, кіраванне промптамі і шлюз MCP. Асноўны шлюз мае адкрыты зыходны код пад ліцэнзіяй MIT; прадукт на хостынгу дадае назіральнасць і сродкі кіравання. Камерцыйны кірунак цяпер звязаны з Palo Alto Networks / Prisma AIRS. Асноўныя інструменты: Universal API, маршрутызацыя & пераключэнне пры збоях, просты + семантычны кэш, назіральнасць (журналы/трасіроўкі/выдаткі), ахоўныя абмежаванні & выдаленне PII, студыя промптаў, віртуальныя ключы/бюджэты, шлюз MCP. Цэны: Developer бясплатны (10k запісаў журнала/mo, захоўванне на працягу 3 дзён). Production $49/mo (100k запісаў журнала, +$9 за дадатковыя 100k). Enterprise на індывідуальных умовах (VPC, SSO, SOC2/HIPAA). Самастойнае размяшчэнне OSS — гэта бясплатнае праграмнае забеспячэнне плюс ваша інфраструктура.

АСНОЎНЫЯ ПЕРАВАГІ
• Адзін API для вельмі шырокага каталога мадэляў
• Сродкі кіравання ў працоўным асяроддзі: рэзервовыя варыянты, кэш, бюджэты, ахоўныя абмежаванні
• Падрабязная назіральнасць за запытамі
• Бясплатны тарыф + шлюз з адкрытым зыходным кодам пад ліцэнзіяй MIT
• Карпаратыўны кірунак праз Prisma AIRS  

ІДЭАЛЬНА ПАДЫХОДЗІЦЬ ДЛЯ
Каманд, якія выкарыстоўваюць праграмы або агентаў на аснове некалькіх LLM і якім патрэбныя надзейнасць, кантроль выдаткаў і кіраванне без асобнага падключэння кожнага пастаўшчыка.

АДМЕТНАСЦІ
• Інтэграцыя, сумяшчальная з OpenAI, з мінімальнымі зменамі
• Семантычнае кэшаванне можа скараціць выдаткі на токены
• Кіраванне версіямі промптаў + асяроддзе для эксперыментаў
• Заяўлена пра 3,000+ каманд GenAI  

ШТО ВАРТА ЎЛІЧЫЦЬ
• Каштоўнасць платнага тарыфу пераважна ў журналах/тэрміне іх захоўвання і кіраванні, а не ў самой прапускной здольнасці
• Бясплатнае вядзенне журналаў спыняецца на 10k запісаў (запыты працягваюць праходзіць)
• Набыццё кампаніі змяняе доўгатэрміновы план развіцця
• Гэта не гандлёвая пляцоўка мадэляў накшталт OpenRouter  

АГУЛЬНАЯ АЦЭНКА
4.4/5 зорак. Магутны шлюз для працоўнага асяроддзя, калі вы ўжо выкарыстоўваеце ўласныя ключы і вам патрэбныя маршрутызацыя і назіральнасць. Пачніце з бясплатнага тарыфу, а затым пераходзьце на $49 толькі тады, калі вам спатрэбяцца даўжэйшае захоўванне журналаў, семантычны кэш і RBAC. Атрымайце таксама ўзнагароду ў памеры 1 QUA за водгук на Quasa.io!

ПАЧАЦЬ: https://quasa.io/projects/portkey