Seriál o parseru bankovních výpisů uzavírám tématem, bez kterého by poslední fáze projektu vypadala úplně jinak. Už v novoročním příspěvku jsem přiznal, že jsem se částečně svěřil do rukou AI. U parseru to bylo o poznání víc než „částečně“. A protože se mě na to lidé často ptají, zkusím sepsat, co fungovalo, co ne a co bych příště udělal jinak.
Rok a půl bez, pár týdnů s
Většinu historie projektu jsem psal postaru. Extraktory pro české banky, API, databáze, první testy — to všechno vznikalo ručně, večer po večeru, výpis po výpisu. AI jsem používal spíš jako chytřejší vyhledávač.
Zlom přišel ve chvíli, kdy jsem měl přes třicet extraktorů a věděl jsem, že potřebuji najít více souvislostí. O některých jsem psal ve druhém díle. Takový refaktoring znamená sáhnout do každého extraktoru, připravit si test pro refaktoring, přepsat implementaci, a ověřit si, že dává stejné výsledky. Ručně bych na tom strávil týdny. S AI agentem, který umí sám pouštět testy a číst jejich výstup, to byla spíše otázka dnů.
Co fungovalo
Mechanická práce s jasnou kontrolou. Převést třicet extraktorů na nový způsob zápisu je přesně ten typ práce, kde AI exceluje — pokud má jak ověřit, že neudělala chybu. A tady se vrátily golden testy z třetího dílu. Agent upravil extraktor, spustil testy dané banky, viděl rozdíl, opravil. Bez testů bych mu nevěřil ani řádek. S testy jsem mohl nechat běžet celé série změn a kontrolovat až výsledek.
Nástroje, na které bych nikdy neměl čas. Nástroj na vzorkování otisků, reporty rozdílů, hledání nové semantiky ze čtvrtého dílu. To všechno jsem chtěl mít dávno, ale vždycky byla důležitější nová banka. S AI jsem si ty nástroje mohl dovolit. A zpětně vidím, že právě nástroje jsou to, co mi dnes šetří nejvíc času.
Hledání vzorů. Když jsem se ptal, co mají společného jednotlivé otisky, které nesedí, nebo proč jedna banka má na posledních stránkách jiné rozložení, agent prošel stovky otisků a přinesl hypotézu. Ne vždy správnou, ale vždy dobrý začátek.
Dokumentace. Paradoxně jedna z největších výhod. Aby agent pracoval dobře, potřebuje vědět, jak projekt funguje. A tak jsem měl motivaci udržovat dokumentaci aktuální. Tahle dokumentace pak slouží i lidem — včetně mě za půl roku.
Kde jsem musel brzdit
Sebevědomé chyby. AI umí napsat kód, který vypadá skvěle a dělá něco trochu jiného, než měl. U parseru finančních dat je „trochu jinak“ nepřijatelné. Proto jsem si nastavil pravidlo: žádná změna bez zelených golden testů, a každá změna golden souboru, ale také změna v kódu musí projít mýma očima.
Přílišná ochota. Když agent narazí na otisk, který nesedí, jeho první instinkt je často extraktor „opravit“ tak, aby seděl. Jenže někdy otisk nesedí proto, že je upravený. Musel jsem výslovně oddělit otisky, které jsou v podezření, a zakázat přizpůsobování extraktorů jim. Jinak bych si extraktor naučil podvrhy přijímat.
Rozlézání se. Požádáte o opravu jedné banky a dostanete opravu tří bank, novou utilitu a refaktoring, o který jste nežádali. Naučil jsem se zadávat malé, jasně ohraničené úkoly a říkat, co nemá dělat. Ale na druhé straně také to, kdy už má má skončit.
Architektura je pořád moje práce. Jak a co se použije, jakým způsobem se bude zacházet s citlivými údaji. Formát a převedení PDF do abstrakce dokumentu, stránky, bloku a řádků. Pravidla pro výběr extraktoru, hlavičky, transakcí, sekce a řádky jsem musel navrhnout já. Agent uměl skvěle následovat moje požadavky na úpravy a dělal to o hodně rychleji než já. Dával mi možnost, abych mohl přemýšlet čeho chci dosáhnout, než jak to napsat, a to ještě v řád několika desítek bank. Rozhodnutí, jak má abstrakce vypadat, co mi usnadní vyhodnocení, to vycházelo z toho, co jsem za rok a půl viděl na vlastní oči. Tohle bych nedelegoval.
Dokumentace pro agenta
Jedna věc stojí za samostatnou zmínku. V repozitáři mám dokument, který popisuje, jak projekt funguje — architekturu, konvence, jak přidat banku, jak testovat, co je plánované a proč to zatím nedělám. Původně jsem ho psal pro agenta. Dnes je to nejlepší dokumentace, jakou projekt kdy měl.
Postupně tak přecházím na to, že z dřívějšího hlavoručního zkoumání převedeného PDF do otisků ve formátu XML mám sadu pravidel, která jsou jasná na první pohled z výpisu. Používá banka slova jako "Počáteční zůstatek" nebo datum ve zkráceném formátu den/měsíc? Téměř to stačí, aby se z otisku dokázal připravit nebo jen upravit deklarativně napsaný extraktor.
Pravidlo „nikdy neupravuj existující extraktor kvůli jinému formátu, vytvoř nový“ jsem sice měl v hlavě od začátku, ale až když jsem ho napsal pro agenta, musel jsem ho formulovat přesně. Kdy je formát jiný? Co když se posune jen jeden blok? Tahle přesnost se pak vrátila i mně.
A totéž platí pro slovník. Když agent a já říkáme „sekce“ nebo „skupina transakcí“, musíme myslet totéž. Sepsat si doménový slovník se vyplatí, i když na projektu pracujete sami.
Jak dál
Tímto seriál končí. Parser dnes čte výpisy desítek českých a slovenských layoutů, má za sebou tisíce testovacích výpisů, více jak rok produkčního provozu, a běží v rámci GoodVeri. Na řadě je dokončení kontroly pravosti výpisů a spousta drobností, které si zapisuji do seznamu „až bude čas“.
Co se týče AI — nemyslím si, že by mě nahradila. Ale rozhodně změnila, na co mám čas. Víc přemýšlím o návrhu a o tom, jak ověřit výsledek, a méně píšu opakující se kód. A to mi přijde jako dobrá výměna.
Díky, že jste seriál dočetli až sem. Snad v něm někdo najde inspiraci pro svůj vlastní „jednoduchý“ parser. A pokud máte vlastní zkušenosti s AI na podobně velkém refaktoringu, budu rád, když se podělíte — co vám fungovalo a kde jste brzdili vy?