Podle oborových dat zhruba 85 % LLM prototypů nikdy nedoletí do produkce. Demo v notebooku je snadné. Systém, který obstojí pod reálným provozem, reálnými hraničními případy a reálným driftem dat, je ta skutečná práce. Stavíme LLM funkce, které se dostanou do produkce, škálují a drží i dlouho po spuštění.
Jsme AI inženýrský tým s kancelářemi v Praze a Londýně, pracujeme s CTO, VP Product a technickými zakladateli. 50+ AI funkcí v produkci, nejrychlejší nasazení dva měsíce od zahájení. Máme pověst toho, že vám řekneme, kdy LLM není správný nástroj.
Prompt, RAG nebo fine-tune rozhodnuté upřímněZaměřené na produkci, ne jen PoCPřenositelné mezi vendory z principuTransparentní náklady po spuštění
Týmy plýtvají týdny a desítky tisíc dolarů tréninkem modelu, přičemž skutečným problémem byl prompt nebo chyba v retrievalu. Naše výchozí pořadí: prompt engineering první (dny, skoro nulové náklady), RAG když je gap ve znalostech (týdny), fine-tuning jen jako poslední možnost pro stabilní vysokoobjemovou změnu chování (měsíce, reálné peníze). Rozhodnutí děláme s vámi písemně a s vysvětleným kompromisem.
RAG chatbot samostatného vývojáře vyletěl z $20 na $300 měsíčně při 50 uživatelích, protože každý dotaz zamířil na frontier model. Bot pro objednávky k lékaři tvrdil, že rezervoval schůzky, které se nikdy nekonaly. Tohle nejsou marketingové průšvihy. Jsou to chybějící output validation, chybějící deterministická middleware, chybějící model routing a chybějící evaluace. Opatření navrhujeme od prvního dne.
Skepticismus, že agentury jsou 'jen obaly nad OpenAI API', je férový. Stavíme s model abstraction layer, model-agnostic eval pipelines a architekturou, která umožní přepnout Claude, Gemini, Llama nebo self-hosted model bez přepsání aplikace. Když poskytovatel ukončí endpoint nebo změní ceník, máte na výběr.
Někdy je správná odpověď rules engine, classifier nebo SQL dotaz. Pokud má váš problém deterministickou ground truth, těsné rozpočty na latenci nebo přísné požadavky na audit, které LLM upřímně nesplní, řekneme to a doporučíme levnější, spolehlivější nástroj. Radši nestavět než stavět špatnou věc.
Hledáte tyhle služby?
Use case porovnáváme s vašimi daty, cíli na latenci a přesnost, integrační plochou a regulatorní expozicí. Výstup: rozhodnutí prompt vs RAG vs fine-tune, integrační plán, privacy architektura a naceněný build s pevně vymezeným rozsahem.
Hned na začátku řekneme, jestli se use case pro LLM nehodí. Občas to zazní i u placeného discovery.
Kde je vysoké riziko v retrievalu nebo integraci, spouštíme časově ohraničený PoC na vašich datech, vašich API, vašem IAM. PoC navrhujeme tak, aby rychle selhal na věcech, které obvykle zabíjejí LLM projekty: strategie chunkingu, kvalita retrievalu, propagace oprávnění, schema drift.
Dostanete evaluační report s konkrétními metrikami oproti golden setu a konkrétní naceněný build.
Build běží jako malý zkušený tým vedený Michalem Vavrou, s AI a integračními inženýry v kontaktu s vašimi stakeholdery. Každý release jde za feature flag, s eval pipelines v CI, output schema validation, regresními testy na fixním golden setu a cost telemetry od prvního týdne.
Nasazujeme brzy. Bránou jsou guardrails a evaly, ne lesk dema.
Při spuštění zapojíme faithfulness tracking, drift detection, token a inference cost telemetry, output validation a alerting. Dostanete runbooky, architekturní dokumentaci, plný eval harness a předání projektu.
Měsíční retainer pro monitoring, ladění a aktualizace modelů. Žádný lock-in, kdykoli si to převezmete in-house.
Otázky, které nám techničtí zadavatelé kladou na prvním hovoru o vývoji LLM, RAG, fine-tuningu a run-rate nákladech.
Naše výchozí pořadí: prompt engineering první, RAG když je mezera ve znalostech, fine-tuning až jako poslední možnost. Zhruba 90 % úspěchů v produkci stojí na kombinaci prompt + RAG. Fine-tuning je 10% výjimka, kterou stejně většinou přepoužijeme. Ta obvykle vznikne, když tým předpokládá, že model potřebuje víc tréninku. Skutečnou mezerou je přitom špatný retrieval nebo slabý prompt. Rozhodnutí děláme s vámi písemně v discovery.
Build a run rate jsou dvě různé věci. Inference cost roste s objemem tokenů, volbou modelu a tím, jestli máte routing a caching. Naivní nasazení frontier modelu může snadno znásobit odhadované náklady při spuštění: viděli jsme skok z $20 na $300 měsíčně při 50 uživatelích kvůli jednomu opomenutému rozhodnutí o routingu. Odhadovaný měsíční run rate stanovíme v návrhu discovery a model routing, sémantický caching i evaluation gates navrhujeme od začátku.
Halucinaci bereme jako engineering problém, ne marketingový. Opatření jsou vrstvená: output validation proti typovaným kontraktům, kontroly kvality retrievalu, deterministická middleware tahající autoritativní stav před model, human-in-the-loop u nevratných akcí a faithfulness scoring u každého release. Netvrdíme '100% spolehlivý' ani 'nikdy nehalucinuje'. Měříme jeho výskyt a ladíme, dokud není pro váš use case přijatelný.
Stavíme s model abstraction layer a model-agnostic eval pipelines od začátku. Přepnout GPT na Claude, Gemini, Llama nebo self-hosted model je konfigurační změna plus eval re-run, ne přepis. Nejste vázaní na žádného vendora a rotujeme, když se hne ekonomika nebo policy.
Ano. Podporujeme Azure OpenAI se zero retention, privátní cloud deploymenty na AWS nebo GCP a self-hosted open-source modely na vaší infrastruktuře. Volba se řídí požadavky na data residency, důvěrnost a objem. Při očekávaném objemu spočítáme TCO a upřímně řekneme, jestli se self-hosting vyplatí.
Model je ta jednoduchá část. Production systém je retrieval, output validation, eval pipelines, model routing, caching, monitoring, fallbacks, guardrails a CI-integrated regression harness. To stavíme. Pokud je váš use case opravdu jeden API call, řekneme, ať si to napíšete sami.
Když má problém deterministickou ground truth, těsné rozpočty na latenci nebo přísné požadavky na audit, které LLM upřímně nesplní. Klasifikace s čistými štítky, exact-match search, transakční stav. To často líp vyřeší classifier, SQL nebo rules engine. Radši doporučíme levnější a spolehlivější nástroj, než abychom stavěli špatnou věc.
