Lokální AI ve firmě: kdy se vyplatí a co připravit

Ve zkratce

Lokální AI znamená, že jazykový model běží na vašem serveru a data neopouštějí firmu. Vyplatí se hlavně při přísných pravidlech pro data, stabilním velkém objemu nebo existující GPU infrastruktuře.
Spočítejte si objem dotazů, cenu hardwaru a práci alespoň jednoho člověka na provoz. Bez nich srovnání s cloudem nedává smysl.
Začněte malým testem na jednom stroji a porovnejte kvalitu s tím, co používáte dnes. Pro špičky a nejlepší modely si nechte cloud.
Ať AI běží kdekoli, musíte podle čl. 4 AI Aktu přijmout opatření k podpoře AI gramotnosti zaměstnanců a u osobních údajů mít právní základ podle GDPR. Evidence školení akt nevyžaduje, ale jako dobrá praxe se doporučuje.

Provozovat AI lokálně znamená, že jazykový model běží na vašem vlastním serveru nebo v prostředí, které ovládáte, a firemní data neodcházejí k cizímu poskytovateli. Dává to smysl hlavně tehdy, když to ukládají pravidla pro práci s daty, když máte stabilně velký objem dotazů nebo když už výkonné servery s grafickými kartami provozujete. Ve většině ostatních případů je pro malou a střední firmu jednodušší a levnější cloud.

Co přesně se myslí lokálním provozem

Jazykový model (LLM) je program, který rozumí textu a odpovídá na něj. Při použití cloudu posíláte dotaz přes internet poskytovateli, například OpenAI nebo Anthropic. Při lokálním provozu si stáhnete volně dostupný model a spustíte ho u sebe. Dotaz pak neopouští vaši síť.

Nejvýkonnější (tzv. frontier) modely si na vlastní server nainstalovat nemůžete, jsou dostupné jen jako služba. Na serveru poběží volně dostupné modely. Podle PremAI se kvalitou přibližují těm nejlepším, ale nejsou stejné. Menší model doladěný na vaše konkrétní úkoly může podle téhož zdroje na těchto úkolech porazit velký univerzální model.

Kdy se lokální provoz vyplatí

Blog PremAI, který je dodavatelem, uvádí tyto situace. Čísla berte jako orientační.

Pravidla vyžadují lokální zpracování. Příkladem jsou izolované systémy bez připojení k internetu, zdravotnictví nebo finance. Pokud vám právník řekne, že data nesmí k externí službě, srovnávání cen odpadá.
Objem je velký a stabilní. Podle PremAI začíná lokální provoz porážet cloudová API nad zhruba 2 až 3 miliony tokenů denně. Token je zhruba kousek slova, podle kterého se platí. Objem musí být dlouhodobě stálý, ne jen jednorázově vysoký.
Záleží na rychlosti odezvy. PremAI uvádí, že cloud přidává 50 až 200 ms, lokální provoz může jít pod 20 ms. Pro běžné kancelářské použití to málokdy rozhoduje.
Už provozujete GPU infrastrukturu. Přidání dalšího úkolu je pak levnější než stavba od nuly.

Cloud naopak vyhrává u nejvýkonnějších modelů, u kolísavé nebo nárazové zátěže a tam, kde má tým málo kapacity.

Kolik to stojí a kdy se to vrátí

PremAI odhaduje, že produkční nasazení modelu třídy 70B (70 miliard parametrů, tedy velký model) stojí předem 40 000 až 190 000 USD. V této částce není provoz, chlazení, údržba ani lidé. Studie, kterou blog cituje (54 scénářů), uvádí návratnost oproti komerčním API od 18 měsíců do 9 let.

Záleží i na tom, s čím se srovnáváte. Oproti GPT-4 vychází návratnost při zhruba 2 milionech tokenů denně a 70% vytížení karet. Oproti levnějším cloudovým modelům, třeba Gemini 2.5 Pro nebo Claude Haiku, blog odhaduje 5 a více let.

K nákladům patří i člověk. Podle PremAI potřebuje produkční nasazení minimálně jednoho specialistu na MLOps, tedy na provoz a správu modelů. Jeho průměrný plat v USA uvádí na 135 000 USD ročně. Čeká ho aktualizace ovladačů, bezpečnostní záplaty, výměna modelů za novější a řešení poruch. Generace karet se mění každé 2 až 3 roky, blog doporučuje plánovat obnovu na 3 až 5 let.

Co musíte mít připravené

Hardware

Rozhoduje paměť grafické karty (VRAM). Orientační pravidlo: počet parametrů v miliardách krát 0,5 pro 4bitovou kvantizaci, krát 1,0 pro 8bitovou a krát 2,0 pro FP16. Kvantizace je zmenšení modelu za cenu mírné ztráty přesnosti. Model 70B potřebuje ve 4bitové verzi přibližně 35 až 40 GB VRAM.

Další čísla od PremAI:

Jedna karta odebírá 300 až 700 W.
Čtyřkartový uzel odebírá až 3 až 4 kW.
Na chlazení počítejte dalších 20 až 30 %.
Samotný procesor bez karty zvládne u modelu 7B 2 až 10 tokenů za sekundu, grafická karta 30 až 100. Pro ostrý provoz tedy GPU.

Software

Karta a soubor s modelem nestačí, potřebujete program, který model obsluhuje více uživatelům najednou. Jednou z možností je vLLM, který PremAI popisuje jako nástroj s nejvyšší propustností pro více uživatelů. Je to open-source knihovna, která vznikla v Sky Computing Lab na UC Berkeley a dnes ji udržuje komunita. Nabízí server kompatibilní s OpenAI API, takže se na něj dají připojit stávající nástroje bez úprav. Podporuje karty NVIDIA i AMD, procesory a přes pluginy další akcelerátory. Umí kvantizaci, zpracování více požadavků najednou a rozložení modelu na více karet. Podle dokumentace pracuje s více než 200 architekturami modelů. PremAI zmiňuje i jednodušší Ollamu pro začátek.

Bezpečnost

Lokální neznamená automaticky bezpečné. Odpovědnost přechází z poskytovatele na vás. PremAI doporučuje řízení přístupů podle rolí, vícefaktorové přihlášení pro správce, šifrování dat a zaznamenávání každého dotazu.

Postup od testu k provozu

PremAI doporučuje tři fáze:

Ověření. Spusťte cílový model na jednom vývojářském stroji. Porovnejte kvalitu odpovědí s tím, co používáte dnes.
Pilot. Nasaďte jednu výkonnou kartu a pusťte na ni skutečnou práci. Změřte rychlost a vytížení a spočítejte skutečné náklady proti současné útratě za cloud.
Provoz. Teprve teď rozšiřte kapacitu, zaveďte plné zabezpečení, sledování a dokumentaci.

Kontrolní otázky před rozhodnutím

Otázka	Odpověď "ano" ukazuje na
Zakazují pravidla nebo smlouvy posílat data externí službě?	lokální provoz
Máme stabilně přes 2 až 3 miliony tokenů denně?	lokální provoz
Zátěž kolísá nebo ji nedokážeme odhadnout?	cloud
Potřebujeme nejvýkonnější dostupné modely?	cloud
Máme alespoň jednoho člověka na správu serverů s GPU?	lokální provoz
Máme prostor, napájení a chlazení?	lokální provoz
Potřebujeme rychlý start během hodin?	cloud

Když se odpovědi rozdělí, hodí se hybridní model. Stabilní základní zátěž běží lokálně, špičky a nejvýkonnější modely v cloudu. Citlivá data jdou na lokální server, běžné dotazy do cloudu.

Pravidla, která platí bez ohledu na umístění

Lokální provoz vás povinností nezbaví, mění se jen to, kdo je plní.

AI gramotnost. Podle čl. 4 AI Aktu (nařízení EU 2024/1689) platí od 2. února 2025 pro poskytovatele i firmy, které AI systémy zavádějí, tedy používají, povinnost přijmout opatření pro zvyšování AI gramotnosti. Týká se zaměstnanců i lidí, kteří AI používají vaším jménem, třeba dodavatelů. Podle znění, které uvádí portál artificialintelligenceact.eu, nemusíte u jednotlivců zaručit konkrétní úroveň znalostí. Akt nepředepisuje délku, formu ani četnost školení. Advokátka Kristýna Poche v textu na epravo.cz za dobrou praxi považuje vstupní školení nových lidí, opakování nejméně jednou ročně, mapování používaných AI systémů a rizik a evidenci školení. Doporučuje také ošetřit požadavky na gramotnost ve smlouvách s dodavateli. Podle německého portálu KI-Campus zůstává čl. 4 i po úpravách v balíčku AI Omnibus povinný, jen se zmírňuje formulace.

Osobní údaje. Evropský sbor pro ochranu osobních údajů (EDPB) vydal 17. prosince 2024 stanovisko 28/2024. Podle shrnutí advokátní kanceláře CMS se případ od případu posuzuje, zda je model trénovaný na osobních údajích anonymní, a práh je vysoký. Při vývoji i nasazení modelů se správce může v zásadě opřít o oprávněný zájem. Musí však projít třemi kroky: určit svůj zájem, doložit nezbytnost a vyvážit ho proti právům lidí, jejichž údaje zpracovává. Pokud do modelu nebo jeho znalostní báze pustíte údaje zaměstnanců či klientů, tento test si udělejte a zapište.

Příklady využití AI agentů ve firmách podle oboru Bezpečnost dat při nasazení AI ve firmě AI novinky: co se změnilo a co to znamená pro firmu

Zdroje

Text připravila AI z uvedených zdrojů a prošel automatickou kontrolou faktů. Nejde o právní radu.