OpenAI Batch ці Flex: аднолькавая цана хавае чаканне і памылкі 429

Для масавай працы, вынікі якой можна забраць пазней, выбірайце Batch API. Калі адказ патрэбны ў межах асобнага выкліку і праграма можа цярпець затрымку, падыходзіць Flex. Параўнанне Creuto апісвае галоўны кампраміс: пры аднолькавай стаўцы за токены Batch прымае файл з акном да 24 гадзін, а Flex захоўвае звычайны фармат выкліку.

Пры недахопе рэсурсаў Flex можа вярнуць 429 Resource Unavailable; кіраўніцтва OpenAI па Flex удакладняе, што за такую адмову плата не спаганяецца. Рэжым працуе праз Responses або Chat Completions, задаецца параметрам service_tier са значэннем flex і пакуль мае статус beta з абмежаваным спісам мадэляў. Таму параўноўваць трэба адну сумяшчальную мадэль і ўлічваць, што будзе рабіць праграма пасля адмовы.

Роўная стаўка не азначае роўны кошт працэсу

Пры праверцы 19 кастрычніка 2026 года табліца тарыфаў OpenAI паказвала для gpt-6-astra з кароткім кантэкстам $10 за мільён уваходных і $50 за мільён выходных токенаў у Standard; у Batch і Flex — адпаведна $5 і $25. Гэта стаўкі ў доларах ЗША для названай мадэлі і ўмовы, а не адзіная цана для ўсяго API. У іншых мадэляў свае лічбы, хоць прынцып супадзення ставак Batch і Flex захоўваецца там, дзе даступныя абодва рэжымы.

Рахунак за працу залежыць ад таго, у якім рэжыме завершыцца кожны паспяховы запыт. Калі Flex выдаў Resource Unavailable, а паўтор прайшоў праз Standard, за паспяховы паўтор дзейнічае стаўка Standard. Паўтор у Flex захоўвае зніжаную стаўку, але дадае час чакання. У разліках ніжэй няма кэшавання, платных інструментаў і іншых тарыфных умоў: яны ізалююць розніцу паміж спосабамі апрацоўкі аднаго і таго ж аб’ёму токенаў.

Файл Batch і асобны выклік Flex

Batch пачынаецца з файла JSONL: кожны радок утрымлівае запыт з унікальным custom_id. Файл загружаюць праз Files API, пасля чаго ствараюць заданне для выбранага endpoint. Паводле кіраўніцтва Batch API, акно задання складае 24 гадзіны, адно заданне можа ўтрымліваць да 50 000 запытаў, а памер уваходнага файла абмежаваны 200 МБ. Дзейнічае і асобны ліміт на колькасць уваходных токенаў, пастаўленых у чаргу для канкрэтнай мадэлі.

Пасля выканання Batch вяртае файл вынікаў, які трэба атрымаць асобна. Парадак радкоў у ім можа адрознівацца ад парадку ўваходных запытаў, таму для супастаўлення патрэбны custom_id. У адным уваходным файле можна выкарыстоўваць толькі адну мадэль. Для вялікай адкладзенай задачы гэта зручны спосаб перадаць набор запытаў разам, але праграма павінна захоўваць сувязь паміж уваходнымі данымі, станам задання і атрыманымі вынікамі.

Пералік endpoint у Batch шырэйшы: /v1/responses, /v1/chat/completions, /v1/embeddings, /v1/completions, /v1/moderations, /v1/images/generations і /v1/images/edits. Flex апісаны для Responses і Chat Completions, таму для embeddings, moderations, старога completions і названых аперацый з выявамі з гэтых двух рэжымаў застаецца Batch — пры ўмове, што яго падтрымлівае патрэбная мадэль. Для выяў таксама дзейнічаюць уласныя мадэлі і тарыфы: стаўкі gpt-6-astra з разлікаў ніжэй да іх не адносяцца.

Што адбываецца з тэрмінам і пры недахопе магутнасці

Акно Batch азначае час, адведзены на выкананне задання; вынікі могуць з’явіцца раней. Калі да жорсткага тэрміну засталося менш за гэтае акно, планаваць атрыманне ўсяго файла як гарантаванае рызыкоўна. Заданне, якое не паспела, атрымлівае стан expired: незавершаныя запыты скасоўваюцца, а адказы на выкананыя застаюцца даступнымі і аплачваюцца. Гэта важна для начной працы, дзе частковы вынік можа быць карысным, але поўны набор патрэбны да раніцы.

У Flex чаканне прыпадае на асобны выклік. Павольная апрацоўка павышае рызыку тайм-аўту кліента, а павялічаны тайм-аўт азначае толькі тое, што праграма даўжэй чакае адказу. Ён не задае тэрмін, да якога мадэль абавязкова адкажа. Пры 429 Resource Unavailable можна паўтарыць выклік з паступовым павелічэннем паўзы або накіраваць паўтор у Standard, калі хуткасць важнейшая за зніжаную стаўку. Код 429 сам па сабе не вызначае прычыну: правіла адсутнасці платы тут датычыцца менавіта Resource Unavailable.

Для асобнай задачы поўны час складаецца з чакання ва ўласнай чарзе праграмы, працягласці першай спробы, паўзы перад паўторам і працягласці паспяховага паўтору. Публічныя тарыфы дазваляюць дакладна палічыць кошт зададзенай колькасці токенаў, але не даюць універсальнага часу адказу Flex або частаты 429. Таму ў прыкладах ніжэй лічбы часу зададзены як умовы сцэнарыя, а не як вынік тэсту сэрвісу.

Тры ўмоўныя сцэнары на адных тарыфах

Начная класіфікацыя

Дапусцім, трэба класіфікаваць 10 000 запісаў з дапамогай gpt-6-astra. На кожны запіс прыпадае 1000 уваходных і 100 сумарных выходных токенаў, уключаючы ўсе токены адказу. Уся праца тады складзе 10 мільёнаў уваходных і мільён выходных токенаў. Па прыведзеных стаўках яна каштавала б $150 у Standard і $75 у Batch або Flex. Гэта арыфметыка для ўмоўнага аб’ёму, а не ацэнка рэальнага набору даных.

Па колькасці запытаў такі набор змяшчаецца ў адно заданне Batch. Памер файла і даступны ліміт токенаў у чарзе трэба ўлічваць асобна: аднаго падліку радкоў недастаткова. Калі задача сапраўды можа чакаць у межах акна Batch, файл і асобны пул лімітаў адпавядаюць яе адкладзенаму характару. Flex даў бы тую ж цану за паспяховыя адказы, але запатрабаваў бы адпраўляць запыты паасобку і апрацоўваць магчымыя адмовы.

Чарга асобных задач на працягу дня

Цяпер дапусцім 1000 задач з такім жа памерам кожнага запыту, але яны паступаюць на працягу дня і кожная павінна атрымаць асобны адказ. Агульны аб’ём — мільён уваходных і 100 000 выходных токенаў; кошт паспяховых выклікаў складзе $15 у Standard або $7,50 у Flex. Batch мае такую ж зніжаную стаўку, аднак яго вынікі вяртаюцца файлам пазней, таму ён не адпавядае патрабаванню адказваць у межах кожнага выкліку.

Для прыкладу часу ўявім, што задача праводзіць 20 секунд ва ўласнай чарзе праграмы, а паспяховы выклік Flex займае 40 секунд. Тады адказ прыходзіць праз хвіліну пасля паступлення задачы. Калі выклік зацягнецца або спатрэбіцца паўтор, гэты тэрмін вырасце; тарыф за токены ад гэтага сам па сабе не зменіцца. Прыведзеныя секунды — умовы разліку, іх нельга прымаць за тыповую затрымку OpenAI.

Паўтор пасля 429

Уявім тую ж тысячу задач: 900 адразу паспяхова прайшлі праз Flex, а 100 атрымалі Resource Unavailable і пасля гэтага былі паспяхова паўтораныя праз Standard. Пры раней зададзеным памеры кожнай задачы першыя адмовы не дадаюць платы; 900 адказаў у Flex каштуюць $6,75, а 100 адказаў у Standard — $1,50. Разам атрымліваецца $8,25 супраць $7,50, калі б усе паспяховыя адказы прыйшлі праз Flex. Колькасць адмоў тут выключна ўмоўная.

Часавую цану паўтору можна паказаць гэтак жа праз умовы. Калі першая спроба вярнула 429 праз 20 секунд, паўза перад наступнай склала хвіліну, а паспяховы паўтор заняў 30 секунд, задача завяршылася праз 110 секунд без уліку ўласнай чаргі. Без паўзы, пры неадкладным пераходзе ў Standard і той жа ўмоўнай працягласці паўтору, атрымалася б 50 секунд. Так выбар пасля 429 уплывае адразу на дзве велічыні: плату за паспяховы адказ і час да выніку.

Чытайце таксама:

• ChatGPT Plus ці Claude Pro: аднолькавыя $20, розная цана кампрамісу
• Axiom атрымала $2 млрд, але Flex гарантуе дарагі выкуп пры зрыве spin-off
• Signal ці WhatsApp: аднолькавы пратакол не хавае аднолькавыя даныя