Václav Adamec z Gauss Algorithmic: „Na mravence nemusíte vždy rovnou s raketometem“

Václav Adamec působí na pozici Business Operations Director v brněnské společnosti Gauss Algorithmic, které přes 10 let pomáhá firmám využívat data a AI k vytváření inteligentních řešení pro jejich podnikání. Co se za poslední rok v oblasti AI změnilo a jak probíhá spolupráce s klienty od návrhu po provoz AI řešení? Nejen o tom jsme si s Václavem povídali. Vy nyní máte možnosti podívat se na jeho zajímavé a podrobné odpovědi.

Již od roku 2013 pomáháte firmám v téměř všech odvětvích efektivně využívat data a metody umělé inteligence. Máte tak jedinečnou možnost srovnání. Zažíváme nyní skutečný „boom“, nebo je zájem o AI ze strany firemních klientů konzistentní?

Pomůžu si poměrně slavným citátem Theodora Levitta: „Lidé nechtějí kupovat čtvrtpalcový vrták. Chtějí čtvrtpalcovou díru.“ Firmy chtějí řešit své problémy stejně, jako je chtěly řešit kdykoli v minulosti – mění se jen prostředky a to, jak o těchto možnostech přemýšlejí. V tomto ohledu samozřejmě vidíme velkou změnu, protože OpenAI před rokem udělala obrovskou PR službu celému sektoru. AI díky tomu klienti vnímají jako řešení, které už není sci-fi, jako tomu bylo před 10 lety, když jsme začínali. Jsme rádi, že se víc a víc zákazníků obrací přímo na nás coby dodavatele AI řešení a hlavně – aktivně se zajímají, co je dnes vůbec možné. Ten rozdíl v poptávce a zájmu je oproti době před rokem opravdu markantní.

Jednou z klíčových vlastností úspěšného projektu implementace AI je pochopení problému. Je pro firmy skutečně tak těžké popsat, co je trápí? A jak to konkrétně řešíte v Gauss Algorithmic?

Každý bojuje s vlastními představami a zkušenostmi. Když přijdete třeba do autoservisu s tím, že vás zlobí auto, taky třeba na základě minulé zkušenosti technikovi nadhodíte „A nemohla by to být spojka?”, protože mu chcete pomoct a urychlit řešení vlastního problému. Ale pak místo toho, co skutečně chcete, odvádíte pozornost k něčemu, o čem si jen myslíte, že to zřejmě potřebujete k řešení vlastního problému.

Právě toto se nám stávalo často, a tak nás napadlo zkusit to vzít za opačný konec. Říkáme tomu AI Design & Strategy sprint a jde o již řadu let prověřený funkční proces s několika na sebe navazujícími etapami. Cílem je zjistit, co klient ve skutečnosti potřebuje a co je v jeho možnostech – finančních, časových i personálních – to nejvhodnější řešení. Dáme si s klientem opravdu dost času na to, aby nám mohl v klidu říct všechno, co si myslí, že je relevantní, a teprve pak začínáme klást otázky s cílem zjistit skutečný problém.

Příklad: Klient od nás chce chatbota pro vyčítání informací z faktur. To samozřejmě rádi dodáme. Ale můžeme zjistit, že jeho snahou klidně může být eliminace trávení spousty času hledáním informací ve fakturách. Myslí si, že pomůže chatbot, ale neví, že celý proces lze levněji a jednodušeji automatizovat tak, aby nic hledat nemusel a nemusel ani provozovat vlastní jazykový model, navíc v jeho podmínkách zbytečně náročný na údržbu a pravidelné přeučování. Jak se říká – na mravence nemusíte vždy rovnou s raketometem.

Práce zpravidla nekončí dodáním softwaru. Rozvoj AI technologií je nyní opravdu dynamický. Lze vlastně říct, jak často by měla firma v dnešní době revidovat své AI řešení?

Tady jsou asi dva pohledy, které mě napadají – model management a trvanlivost řešení jako takového.

K tomu prvnímu: Samozřejmě závisí na tom, jaký [machine learningový] model používáte, ale typicky doporučujeme klientům kontrolu a přetrénování každých 6-12 měsíců. Opět se vrátím k analogii s autem – můžete šetřit na pravidelných servisech a vynechávat výměnu oleje, ale asi tušíte, že to úplně není strategie, která se z dlouhodobého hlediska vyplatí.

Protože univerzální odpověď ani u druhého bodu neexistuje, zase můžeme použít analogii s autem: Kdy už potřebujete nové a jak dlouho stačí to, které teď máte? V drtivé většině případů je na vás, jak moc řešení používáte a jak důležitý je třeba rozdíl ve zvýšení rychosti zpracování výsledku. Pokud jste třeba velká firma, která zpracovává obrovské množství dat v reálném čase a jsou na to navázané věci jako třeba dynamické řízení provozu či vyskladňování a dodávky zboží, určitě nebudete čekat 10 let, než vyměníte původní řešení za nové. Pokud ale pomocí AI zpracováváte data typicky jednou denně v noci a příliš se vám nemění vstupy ani výstupy, tolik vás nepálí, jestli máte výsledky za 17 sekund nebo za 3 minuty. Ve 3 ráno stejně nikdo ve vaší firmě nepracuje.

O čem se v kontextu AI příliš nemluví je MLOps, konkrétně monitoring modelů. I tím se jako firma zabýváte. Jak moc je složité v praxi odhalovat tzv. data drift, tedy situace, kdy se data, která jsou používána pro trénink modelu, mění nebo se vyvíjejí v průběhu času.

Práce nekončí tím, že model někam nasadíme a doufáme, že bude fungovat – svět se mění a my musíme sledovat změny, které se dějí, i kdybychom se o tom bavili už jen z hlediska bezpečnosti. Pokud máte jeden model a něco si tam pouštíte, jde to dělat poměrně jednoduše – ale jakmile je modelů víc a už je řeší tým, který má nějak spolupracovat, je třeba to už řešit, mít pravidla, jak to celé bude fungovat, jak se to bude nasazovat atd. Cílem tedy je, aby jeden kolega mohl převzít práci po druhém, kdykoli je třeba. Mít tady gatekeepery určitě není dobrý nápad. Pomáhá to samozřejmě také ve standardizaci dodávky – děláte pak projekty rychleji a levněji, protože už se to díky prosazovaným postupům stane pro váš tým víceméně zvykem. Kreativitu potřebujete při tvorbě modelu a řešení byznysového problému, nikdy ale při nasazování do klientova prostředí.

Snižuje AI náklady na provoz datové infrastruktury, nebo to není pravidlem?

U velké části řešení, které u nás firmy poptávají, ano. Dramatický rozdíl je především v porovnání nákladů on premises a cloudových řešení. Když totiž používáte model v cloudu a můžete ho zapnout a vypnout v přesně daných časových úsecích, protože zpracováváte data v balících třeba párkrát denně, šetříte opravdu spoustu peněz za jinak velmi drahý server s drahou grafickou kartou. Proč byste si kupovali stroj za několik set tisíc korun a báli se, že vám ho omylem večer úklidová služba vypojí z elektřiny, když si za pár dolarů můžete pronajmout přesně tolik času provozu takového stroje, kolik potřebujete?

Pokud můžu dodat – řekl bych, že klíčovou úsporou, kterou klienti vidí u AI, nejsou provozní náklady, ale čas. AI vám umožňuje dělat víc a rychleji, a to se pozitivně propisuje hned do několika oblastí – efektivnější fungování firmy, lepší zákaznická péče, nižší chybovost, kratší dodací lhůty…

Popularita generativních AI modelů rychle roste. Firmy však mají velmi často obavy z předávání citlivých dat „mimo firmu“. Vy nabízíte nasazení open-source generativních modelů  do soukromých infrastruktur. Musí pak firma počítat s nějakými kompromisy? Vyrovnají se tyto modely svými schopnostmi populárním modelům jako GPT-3.5?

GPT je univerzální, ale zdaleka ne vždy to nejlepší řešení a víme o hned několika oblastech, kde rozhodně není dobré po něm sáhnout. Zájemci si o limitech GPT ostatně mohou přečíst podrobnější článek od Michala Štefánika, vedoucího našeho NLP týmu, na našem blogu.

Co se modelů týče, vybíráme vždy takové, které umí nejlépe řešit klientův problém. Někdy je klíčové, aby to nebyl takový black box, jindy jde o rychlost nebo vysokou přesnost – v každé z těchto oblastí můžou open source modely GPT překonávat, ale logicky málokterý jej dokáže překonat v univerzálnosti. Dostupných open source modelů je dnes už hodně a dá se velice dobře vybrat a dotrénovat je pro použití u klientů. A samozřejmě pravidelně testujeme nové, aby nám něco neuteklo.

Velmi často se v poslední době hovoří o tom, že každá větší firma by měla mít v budoucnu svého vlastního AI odborníka. Souhlasíte, nebo lze vše úspěšně outsourcovat?

Určitě je dobré udržovat si povědomí o tom, co je možné a co je už dostupné. Díky boomu AI aplikací dnes můžete za pár dolarů měsíčně řešit problém, který byste ještě před dvěma lety řešili zakázkovým projektem za statisíce. Bude stačit, pokud budete mít někoho, kdo umí dobře promptovat, tzn. definovat úkoly generativním modelům. Ostatně velmi pravděpodobně to zanedlouho nenásilně naučí většinu uživatelů počítačů a mobilních zařízení Microsoft a další giganti kancelářských aplikací. Každopádně dnes je z našeho hlediska jen málo firem, které skutečně potřebují mít interního AI specialistu.

Můžete s námi sdílet nějaký z posledních projektů, na kterém jste jako Gauss Algorithmic pracovali?

Co se zakázkových projektů týče, o řadě z nich mohu mluvit pouze obecněji – ale řešili jsme například urychlení a zjednodušení procesu kalkulací pro velkou výrobní firmu, vylepšený doporučovač tematicky souvisejících titulů pro velký knižní e-shop nebo třeba automaticky detekci jídel pro samoobslužné pokladny v jídelnách. Obecně aktuálními trendy jsou plánování výroby, marketingové automatizace (vyplňování obsahu) a samozřejmě nepřehlédnutelní jsou chatboti, resp. méně viditelné, ale výrazně důležitější vyhledávače, které jsou na pozadí chatbotů.

Rok 2023 pro nás byl také ve znamení dokončování vývoje vlastního produktu, kterému říkáme DocDepo – jedná o chytré dokumentové úložiště, které využívá prvky AI hned v několika oblastech. Především SMEs (středním a malým firmám) a živnostníkům by se tak měl dostat do ruky nástroj, který jim pomůže nejen automaticky vyčíst a indexovat např. faktury nebo smlouvy, ale i vyhledávat informace kontextově pomocí chatbota, automaticky generovat platební příkazy nebo detekovat chyby a anomálie – třeba překlep, kterým byste jinak omylem objednali násobek běžného množství materiálu a podobně. Aktuálně probíhá uzavřené testování se zákazníky, takže DocDepo zatím veřejně přístupné není, ale pokud by to některé čtenáře zajímalo a chtěli si to vyzkoušet, stačí mi napsat mailem žádost o přístup, pár testovacích slotů ještě můžeme přidat.

Za úspěchem každé firmy stojí lidé. Jakým způsobem se vám daří lákat nové talenty?

Snažíme se dlouhodobě budovat dobré jméno v odborné komunitě – pravidelně míváme workshopy třeba na Machine Learning Prague a spolupracujeme také s vysokými školami, kde je koncentrace talentů nemalá. Nenabíráme ale nijak zběsile, nejsme velký tým a nemáme moc velkou fluktuaci. Díky dlouholeté expertíze našeho týmu nabízíme opravdu vysokou přidanou hodnotu služeb a děláme vše proto, abychom tento stav udrželi do budoucnosti pro klienty i zaměstnance.

Závěrem nelze nezmínit blížící se regulace. Co říkáte na EU AI Act a ovlivní nějak zásadně to, jakým způsobem nyní s klienty spolupracujete?

Záleží, jaké bude vypadat opravdu finální znění AI Actu. Úvodní návrhy této legislativy znamenaly v podstatě konec malých a středních firem, které v sektoru AI podnikají – tedy i nás. To se ale snad už podařilo zažehnat. I díky této zkušenosti jsme moc rádi, že i v Česku vznikla AI asociace, díky které se jako sektor budeme nejen moci daleko lépe vymezit proti plánovaným regulacím, ale také k nim konstruktivně přispět. Pokud totiž pravidla nastavíte dobře, prospěje to celému trhu. A v oblasti AI a zpracování dat je rozhodně mnoho oblastí, kde jsou opatrnost a jasně definované limity zcela na místě.