V diskusi na LI kolega v jednom komentáři shrnul problém tak přesně a čtivě, že to ocituji celé:
—
Řešíme teď zajímavý problém kolem analýzy. Dřív, když byl špatný analytik, nebo to dobrý odbyl, poznalo se to rychle. Už na formě zpracování bylo jasné, že za tím nebyla erudice nebo píle.
Zato teď? AI propojená s workbookem je extrémně výkonná. Udělá skvělý výstup. Ne, že by se nepoznalo, že je od AI, ale to samo o sobě není špatně. Špatně je, že se mnohem hůř poznává, co do toho skutečně analytik dal ze sebe. Kolik se zamyslel a řešil, co AI nedá — výjimky, datové závislosti, chování klienta atd.
„Za krásným obrazem nadutost mizí“, zpívá se v jedné písni a já bych to parafrázoval, že za krásným výstupem prázdnota mizí. Oponentura se analýzám dělá hůř než dřív, a chyby se tak často najdou až později. Pozná se to i na takových maličkostech, jako je zájem o dobrou znalost analytických postupů, pocit, že staré metody jako ArchiMate modely ztratily smysl apod. A přesně jak píšete, problémy vyplavou na povrch mnohem později.
—
Za mne velký souhlas. Ona ta parafráze „za krásným výstupem prázdnota mizí“, to je jádro věci.
Proč je to zákeřné
Dřív forma prozradila obsah. Odbytá analýza vypadala odbytě, a recenzent hned věděl, kde přitlačit. AI tuhle vazbu přeťala: výstup vypadá skvěle bez ohledu na to, kolik přemýšlení je za ním. Krása a hloubka spolu přestaly korelovat.
A to je horší, než se zdá. Nejde jen o to, že se hůř pozná lajdák. Jde o to, že se hůř dělá oponentura, protože recenzent instinktivně čte formu, a ta teď klame. Slepá skvrna se posouvá: chyby, které dřív trčely, se schovají za hladký text a vyplavou až v provozu, kde je oprava nejdražší.
Zákeřnost je v tom, že „krásný výstup uspává pozornost“.
Řešením je mít etalon neboli pevnou míru, proti které se výstup poměří bez ohledu na to, zda se jeví jako krásný, nebo ne.
Tím etalonem je reálně existující metodika.
Sdílená, explicitní metodika, existující jako dokumenty a nejenom jako řeči. Metodika, které rozumí jak analytik, tak AI, ale i product owner (ten jen v relevantních částech, např. spolupráce nad procesními modely BPM a UCM).
Jakmile takovou metodiku máte reálně a dobře sepsanou, prázdnota se nemá kam schovat: výstup se neposuzuje podle toho, jak vypadá, ale podle toho, co splňuje. Jsou v něm ošetřené výjimky? Datové závislosti? Chování klienta v hraničních situacích? To jsou otázky, na které se dá odpovědět „ano/ne“, i když text napsala AI. Oponentura se vrací do hry, protože, a to je důležité, „má se o co opřít“. A tu shodu s etalonem (binárně ano/ne) dokonce můžete vyhodnotit ve spolupráci s AI, která pracuje v další roli jako „AI Revizor analýzy“.
Jako bývalému fyzikovi se mi k tomu vybaví Galileo: „Změř, co měřitelné je, a učiň měřitelným to, co měřitelné není.“ Přesně takto to dělá metodika jako etalon s kvalitou analýzy, která byla dlouho neměřitelná a posuzovala se dojmem. Takto se převede otázka „je to dobré?“ na řadu konkrétních dotazů „splňuje / nesplňuje“. A ta binární povaha je nejspolehlivější, zvlášť když za ní stojí sémantický determinismus. Takže ne umělecký dojem, ale verdikt.
Klíč: jedna metodika, dva jazyky
A tady je bod, kvůli kterému to celé píšu.
Aby takový etalon fungoval i pro AI, tak metodika musí existovat ve dvou „jazycích“ se stejným významem: čitelné definice pro člověka a totéž vyjádřené jako skills pro AI. Ne dvě různé věci, které se rozejdou. Jeden význam, dvě formy. To je to, co z běžné metodiky dělá „metodiku AI-ready“. Pojem, který se mezi analytiky zatím moc nepoužívá, ale právě o něj tu jde.
Když to platí, pracují analytik i model z jednoho zdroje pravdy. Výstup se pak dá přezkoumat stejným metrem, ať ho vytvořil člověk, nebo AI. To je ta společná řeč, která dnes chybí: bez ní si každý měří po svém a „vypadá to dobře“ zůstane jediným soudcem.
AAF nebyl odvozený z AI
Metodika Agile Analysis Framework (AAF), na které pracuji, v určité podobě existovala o mnoho let dřív než AI. Osvědčila se mi jako metodika pro lidi (tehdy ve formě školení pro firmy); výzva přišla až s AI: připravit ji tak, aby s ní AI uměla pracovat. Urychlit a zpřesnit tvorbu analytické dokumentace a umožnit její strojové vyhodnocení.
Přesně tohle je smysl dnešní AAF: metodika jako etalon, definovaná tak, aby jí rozuměl člověk (= čitelné stránky HTML, odkaz je dole) i stroj (= AI skills). Není to nadstavba, kterou jsme dolepili, když přišla AI. Byla tu dřív jako standard pro analýzu při návrhu informačních systémů. To, že se dá zapsat i jako skills pro AI, není náhoda; je to důsledek toho, že byla od začátku definovaná tehdy v pre-AI době „pokud možno co nejpřesněji“.
A to, jak se AI drží etalonu spolehlivě a auditovatelně, to je pak už jen otázka provedení, tedy tvorby skills (pozn.: plus nutné zavedení sémantického determinismu, viz předešlý článek).
Ale základ je reálně existující metodika.
Bez etalonu je totiž i ta nejvýkonnější AI jen krásný výstup, za kterým se prázdnota schová.
Perlička nakonec
Malá osobní vsuvka na závěr. Před lety (v době pre-AI) jsem účastníkům kurzů na cvičení vracel jejich výstupy s tím, že je to sice srozumitelné, ale ne přesné. Jeden účastník mi řekl, že jsem zbytečně „punktlich“ a že „slovíčkařím“, a že ho to štve, že mu to vracím „když je to dobře“. Jenže přesné být musely už tehdy, jen ten etalon jsem hlídal já, tehdy ručně a musel jsem u toho být.
A pak přišla ironie osudu. Při zavádění AAF můj vlastní AI Asistent (se kterým tuto metodiku tvořím) začal peskovat mě(!), že já nejsem přesný. Taky mě to naštvalo, ale nakonec jsem to uznal, měl pravdu. Přesnost pojmů a jednoznačnost vyjádření jsou totiž premisa všeho, co se pak dá měřit a to i strojově. Takže etalon konečně dostal hlídače, který nespí, neunaví se a nedělá výjimky ani pro autora metodiky.
Napsat komentář