Lokální AI
Co to je
Lokální AI je model na grafické kartě na serveru firmy. Na server se nainstaluje runner, správce ho připojí v AI organizace → Runnery → Přidat AI → Vlastní server s lokální AI (viz Organizace a AI organizace) a ve Směrování určí, které funkce na kartě poběží.
Lokální AI je v levém menu Nastavení → název organizace → Lokální AI. Stav vidí všichni v organizaci, přepínat a měnit nastavení může jen správce organizace. Záložky Nastavení a Logy jsou jen pro správce. Když má organizace víc runnerů s kartou, vybírá se runner vpravo nahoře.
Přehled: režimy karty
Karta dělá vždy jeden režim. Dodané režimy jsou Jeden člověk, Tým, Agent, Přepis a Obrázky a video.
- Kliknutí na dlaždici kartu přepne. Přepnutí trvá desítky sekund a lokální AI mezitím neodpovídá. Co v novém režimu karta neumí, počká, nebo jde na zálohu podle Směrování; okno to řekne předem.
- Tužka na dlaždici změní název a ikonu režimu.
- Přidat režim přidá do přehledu režim z Ladění a měření, nebo vytvoří nový.
- Uvolnit kartu zastaví engine, třeba pro měření nebo jiný nástroj. Kalendář uvolněnou kartu sám nezapne, zapne ji výběr režimu.
Kalendář
Kalendář režimů říká, kdy má karta který režim, třeba Tým v pracovní době a jindy Agent.
- Kliknout na volné místo v týdnu a Přidat blok: dny, od, do a režim karty. Zamčený blok drží svůj režim, ručně jde kartu přepnout až po Odemknout a přepnout.
- Výjimky jsou jednorázově jiný režim nebo volno, třeba svátek. Mají přednost před bloky.
- Přepínat podle fronty: mimo bloky se karta, která nic nedělá, přepne na režim, ve kterém čekají úlohy.
- Uložit kalendář.
Schůzky čekající na přepis se dostanou na řadu i při plné kartě, nejpozději po půl hodině.
Modely
Modely ukazují u každého modelu stav: Stažený (s variantami), Nestažený, nebo Stahuje se s procenty. Odkaz u modelu otevře jeho stránku na Hugging Face.
Vlastní model:
- Přidat model z Hugging Face. Lokální AI načte jen textový model ve formátu GGUF, tedy kvantizovanou (zmenšenou) verzi modelu. Její repozitář mívá stejný název s koncovkou
-GGUF, napříkladunsloth/Qwen3.8-27B-GGUF. Repozitář s původními vahami přidat nejde. - Napsat část názvu (například
qwen 27b) a Hledat: seznam ukáže modely ve formátu GGUF, nejstahovanější první. Nebo vložit název repozitáře či adresu stránky modelu a Načíst varianty. Odkaz Otevřít modely GGUF na Hugging Face otevře seznam se zapnutým filtrem GGUF. - Vybrat variantu. U každé je velikost, co je stažené a místo na disku. Varianta, která se do karty vejde nejlíp, má štítek doporučeno.
- Stáhnout. Volba Po stažení rovnou změřit a doladit model hned vyzkouší.
Licence. Modely v katalogu mají licenci Apache 2.0 nebo MIT. Vlastní model jde přidat i s jinou licencí: okno ukáže její název s odkazem a stažení je potřeba potvrdit, potvrzení se zapíše do auditu. U licence, která zakazuje komerční užití, je výrazné upozornění: takový model není pro běžnou práci firmy.
Model s podmínkami. Některé modely autor vydá až po souhlasu s podmínkami. Postup: na stránce modelu na Hugging Face se přihlásit a podmínky odsouhlasit, v nastavení účtu vytvořit token pro čtení a uložit ho na serveru s kartou jako HF_TOKEN.
Modely pro obrázky, video a zvuk přidat nejde, spravuje je onlybrain: běží v jiném enginu s připravenými a vyzkoušenými postupy a samotný soubor modelu by nestačil.
Místo na disku. Pod katalogem jsou Stažené soubory: volné místo na disku serveru, kolik zabírají modely, velikost každého souboru a kdo ho používá. Nepoužívaný model jde smazat.
Ladění a měření
Pro pokročilé, upravovat jen se znalostí věci.
- Výběr Režim karty ukáže všechny režimy runneru. Přidat režim karty založí nový, Duplikovat zkopíruje model i parametry.
- U režimu jde zvolit model ze stažených, kontext (až 1 milion tokenů) a počet lidí najednou (až 256), posuvníkem i číslem. Kalkulačka hned počítá, co se do paměti karty vejde. Co se nevejde, uložit nejde.
- Zobrazit v přehledu: jen režimy v přehledu jde přepnout a dát do kalendáře.
- Změřit a doladit vyzkouší varianty nastavení a souběh více lidí a nejlepší nastavení uloží. Během měření lokální AI neodpovídá, trvá to několik minut.
- Zrušit změny vrátí neuložené úpravy, Vrátit dodané hodnoty původní nastavení dodaného režimu.
Úlohy
Úlohy ukazují Fronty podle režimu: co čeká na kartu a v jakém pořadí. Člen vidí fronty a své úlohy. Správce může úlohy posouvat, pozastavit, zrušit nebo přesunout do jiného režimu a má i Historii (úlohy a chaty lokální AI za 30 dní, jen údaje o práci, bez obsahu, s filtrem podle uživatele a režimu).
Nastavení
- Chování při přepnutí: Dokončit úlohu (karta se přepne po skončení běžící úlohy), nebo Vrátit do fronty a přepnout (úloha se vrátí na své místo ve frontě a spustí se znovu, až bude karta zpět v jejím režimu).
- Záloha, když je karta v jiném režimu: vypnuto znamená, že funkce směrované na kartu počkají a data neopustí firmu. Zapnuto: jdou na zálohu podle Směrování.
- Přístup pro vývojářské nástroje (/v1): adresa s rozhraním OpenAI a klíč pro vlastní nástroje. Pro chat a úlohy v onlybrainu potřeba není.
Lokální AI v práci
- Chat: kde organizace směruje chat na kartu, nabídne chat volbu Lokální AI hned po otevření brainu a pod odpovědí je napsané, která AI odpověděla. Viz Chat v aplikaci.
- Přepis schůzek: viz Jak nahrát hovor.
- Procesy: AI chat u procesu umí odpovídat z lokální AI, i u velkých složek.
- Obrázky a video: v brainu pod Více → Obrázky a video. Zvolit, co vytvořit (obrázek, úprava obrázku z brainu, krátké video), napsat zadání a kliknout na Připravit z brainu. AI načte z brainu, co je produkt a značka, ukáže soubory, ze kterých vychází, a připraví prompt (u videa po záběrech), který jde před spuštěním upravit. Výsledek se uloží do složky v brainu, u role, která jen navrhuje, jako návrh.