Ollama eða LM Studio: viðmótið skiptir meira máli en hraðinn

LM Studio er þægileg byrjun ef þú vilt finna líkan, stilla það og spjalla í myndrænu forriti. Yfirlit LM Studio lýsir líkanaleit, innbyggðu spjalli og stillingum á sama stað. Ollama hentar betur ef skipanir og skriftur eru þegar hluti af vinnulaginu. Fyrir flesta ræðst valið því fyrst af því hvernig þeir ætla að nota líkanið, ekki af almennri fullyrðingu um að annað forritið sé hraðara.

Þróunaraðilar geta tengt forrit við bæði kerfin: leiðbeiningar Ollama sýna OpenAI-samhæft Chat Completions API á staðbundnu vistfangi. Rekstur án skjás er heldur ekki bundinn við Ollama, því leiðbeiningar LM Studio um llmster lýsa sjálfstæðri bakgrunnsþjónustu án myndræns viðmóts. Munurinn liggur í því hvernig líkön eru sótt og stillt, hvernig þjónustan er ræst og hvaða vinnulag hentar þeim sem nota hana.

Spjall og fyrstu kynni

Myndræna leiðin í LM Studio gerir samtalið sjálft að miðju vinnunnar. Þar er hægt að leita að líkönum, hlaða þeim niður, velja stillingar og sjá svörin án þess að setja fyrst upp eigið forrit sem kallar á API. Það er gagnlegt þegar markmiðið er að prófa mismunandi líkön handvirkt eða láta fólk sem notar sjaldan skipanalínu meta svör þeirra.

Ollama býður stutt vinnulag í skel: sækja líkan, keyra það og kalla síðan á þjónustuna úr öðrum hugbúnaði. Fyrir þann sem vinnur þegar með skriftur getur það verið einfaldara en að halda utan um prófanir í skjáborðsforriti. Hvorugt viðmótið bætir þó sjálfkrafa íslenskukunnáttu líkans. Ef verkefnið er að svara íslenskum fyrirspurnum skiptir val á líkani og útgáfu þess meira máli fyrir málgæðin en það hvort samtalið fer fram í glugga eða skel.

API og þróun

OpenAI-samhæft viðmót auðveldar að beina spjallbeiðnum frá forriti að staðbundnum þjóni. Þá þarf meðal annars að velja rétt grunnvistfang og líkan. Samhæfnin er gagnleg fyrir hefðbundnar spjallbeiðnir, en hún er ekki trygging fyrir að sérhver aðgerð eða svarreitur hegði sér eins í báðum kerfum. Forrit sem byggir á sértækum aðgerðum þarf því að prófa gegn því kerfi sem á að keyra það.

Ollama fellur vel að ferli þar sem líkan er sótt og þjónustan kölluð með endurteknum skipunum. LM Studio hefur líka skipanalínutólið lms, sem getur sótt og hlaðið líkönum, ræst HTTP-þjón og sýnt beiðnir. Munurinn fyrir þróunarteymi er því ekki einfaldlega API eða ekkert API. Hann er hvort handvirk líkönaleit og samtalsprófanir eigi að fara fram í sama myndræna umhverfi og þróunin, eða hvort uppsetning og ræsing eigi fyrst og fremst að vera skráð sem skipanir.

Þjónusta án skjás

llmster gerir LM Studio raunhæfan kost á vél án skjáborðsumhverfis. Þjónustan er aðskilin frá skjáborðsforritinu og lms stjórnar henni á Linux, macOS og Windows. Skjáborðsforritið getur einnig haldið þjóninum gangandi í bakgrunni á vél með myndrænu umhverfi, en það er annað rekstrarform. Fyrir skjálausan Linux-þjón er sjálfstæða þjónustan viðeigandi leiðin.

Í sjálfvirkum rekstri þarf að greina á milli þess að bakgrunnsferli sé í gangi, að HTTP-þjónn svari og að líkan sé þegar í minni. LM Studio getur hlaðið niðurhlöðnu líkani við fyrstu beiðni þegar sjálfvirk hleðsla er virk og losað það aftur eftir óvirkni. Það sparar minni meðan þjónustan er lítið notuð, en fyrsta beiðnin getur þurft að bíða eftir hleðslunni. Ef fyrirsjáanlegur viðbragðstími skiptir máli þarf að taka þá hegðun með í reikninginn; fyrir þjónustu sem fær sjaldan beiðnir getur minni í lausagangi verið mikilvægara.

Hraði og minnisnotkun

Hrá tala um tákn á sekúndu getur ruglað saman áhrifum forrits, líkans og vélbúnaðar. Í mælingu OpenSourcesAI var sama llama3.1:8b Q4_K_M líkanið keyrt með Ollama á RTX 3080: textamyndun mældist 112,93 tákn á sekúndu þegar líkanið var í skjákortaminni, 8,76 með hluta vinnunnar á örgjörva og 6,12 eingöngu á örgjörva, eða um 18,5 faldur munur milli ystu stillinga. Þetta er munur innan Ollama, ekki mældur hraðamunur milli Ollama og LM Studio.

Samanburður Mozilla.ai notaði sömu GGUF-skrár með Ollama og LM Studio, meðal annars á Mac Studio, Linux-vél með NVIDIA-skjákorti og Steam Deck. Niðurstöðurnar sýna að vél, smíðastillingar og reikniaðferðir geta breytt afköstum og að enginn einn hraðaröðunarlisti gildir fyrir allar aðstæður. Mælingarnar náðu til vinnslu inntaks og myndunar tákna eftir að þjónn var ræstur; þær mældu ekki minnisnotkun, hleðslutíma líkans eða heildarbið fram að fyrsta tákni.

Til að bera forritin saman á eigin vél þarf að halda sömu GGUF-skrá, sömu samhengi og sambærilegri nýtingu skjákorts. Vinnsluminni og skjákortaminni við hleðslu svara annarri spurningu en hraði textamyndunar. Langt skjal reynir meira á vinnslu inntaks; í stuttu spjalli finnur notandinn einnig fyrir bið eftir fyrsta svari. Ef eitt forrit lætur meiri hluta líkansins fara á örgjörva en hitt er hraðamunurinn fyrst vísbending um ólíkar stillingar, ekki niðurstaða um hvort viðmótið sé betra.

Valið eftir verkefni

• Fyrir handvirkt spjall og leit að líkönum er LM Studio eðlilegur fyrsti kostur vegna myndræna vinnulagsins.
• Fyrir skriftur, endurteknar skipanir og staðbundið API er Ollama einföld leið ef skipanalínan hentar rekstrinum.
• Fyrir þjón án skjás koma bæði til greina. llmster gerir kleift að nota rekstrarleið LM Studio án þess að halda skjáborðsforritinu opnu.

Þegar sama líkan og sambærilegar stillingar eru forsendan verður skýrara hvað ræður varanlegu vali: hvort fólkið sem notar kerfið þarf sýnilegt spjall og líkönaleit, eða hvort þjónustan á fyrst og fremst að svara beiðnum úr öðrum forritum.

Lestu einnig:

• Kit eða beehiiv: ókeypis plássið og sjálfvirknin ráða valinu
• Slack eða Teams: ódýrara valið ræðst af hugbúnaðinum sem er fyrir
• Spotify eða YouTube fyrir myndvarp: þröskuldarnir ráða tekjunum