
Lokalni ali oblačni LLM: predpomnjenje lahko obrne računico stroškov
Predpomnjenje lahko zniža strošek oblačnega API toliko, da se spremeni primerjava z lokalnim LLM. Odločitev je odvisna tudi od izkoriščenosti strojne opreme, kakovosti, zasebnosti in zakasnitve.





