Najpierw proces, potem AI

W rozmowach o współpracy spotykam się z podobnym obrazem sztucznej inteligencji: to narzędzie, które się podłącza i które od tej chwili działa samo, nie popełnia błędów, pracuje bez przerwy za ułamek dotychczasowych kosztów i nie wymaga sprawdzania, a ludzie w firmie odzyskują mnóstwo wolnego czasu. Rozumiem, skąd się bierze ten obraz, bo pokazy możliwości modeli AI wyglądają właśnie tak (jedno polecenie, kilka sekund i gotowy wynik). Z mojego doświadczenia wynika jednak, że między takim pokazem a automatyzacją, która naprawdę odciąża ludzi, jest sporo pracy, którą w dużej części trzeba wykonać, zanim w ogóle wybierze się model, i która nie kończy się w dniu uruchomienia.

Automatyzacja procesów z AI zaczyna się od opisu procesu

Moim zdaniem zautomatyzować da się tylko proces, który już istnieje. Zanim zacznę myśleć o modelu AI, chcę umieć opisać ten proces w całości: skąd przychodzą dane, kto i w jakiej kolejności coś z nimi robi, jakie decyzje po drodze zapadają i według jakich zasad, i jak wygląda wynik, który uznajemy za dobry. Do tego dochodzą trzy pomiary, bez których trudno potem ocenić, czy automatyzacja cokolwiek dała: ile czasu zajmuje jedno wykonanie, która część jest najbardziej uciążliwa (to ona jest zwykle pierwszym kandydatem do automatyzacji, a nie cały proces naraz) i ile to wszystko kosztuje (w godzinach pracy, w błędach, które trzeba potem poprawiać, w opóźnieniach).

Proces, którego nie da się opisać, nie jest jeszcze gotowy do automatyzacji. Model nie odgadnie zasad, które istnieją tylko w czyjejś głowie, ale i tak coś odpowie, często bardzo pewnym tonem, a bez opisu nie ma do czego tej odpowiedzi porównać.

Jak przygotować proces do automatyzacji

Najpierw wykonuję proces ręcznie, krok po kroku, i powtarzam go tak długo, aż każdy krok będzie działał tak, jak chcę. Ten etap wygląda na stratę czasu, a w praktyce to właśnie na nim widać najwięcej: wyjątki, o których nikt nie pamiętał, decyzje podejmowane „na oko” (które trzeba zamienić na spisaną zasadę), dane, które raz przychodzą w jednym formacie, a raz w innym. Takie rzeczy zwykle i tak wychodzą na jaw, ale po automatyzacji dzieje się to później, trudniej je namierzyć i jest ich więcej, bo automat powtarza błąd równie szybko jak dobry wynik.

Przykład: automatyczny odczyt etykiet produktów

Dobrze widać to na moim własnym przykładzie: zbudowałem proces, który ze zdjęć etykiety produktu odczytuje wartości odżywcze i zapisuje je jako wpis w bazie danych. Zanim go zautomatyzowałem, przepisywałem takie etykiety ręcznie, więc wiedziałem, z jakich kroków składa się ta praca i gdzie leży trudność (zwykle nie w samym odczytaniu liter, tylko w układzie tabeli, czyli w tym, która liczba należy do którego wiersza i kolumny).

Pierwsza wersja była najprostsza z możliwych: jeden model AI, jedno zdjęcie, jedna odpowiedź. Model nie tylko mylił cyfry, ale potrafił też „poprawiać” wartości tak, żeby wszystko się sumowało, czyli zamiast przepisać to, co jest na etykiecie, dopasowywał liczby do tego, co uznał za sensowne. Dziś ten proces wygląda inaczej: OCR (program do rozpoznawania tekstu na obrazie) dwukrotnie odczytuje tekst z etykiety, model przepisuje wartości, zwykły program sprawdza je według spisanych zasad, osobna kontrola wystawia drugą opinię, a na końcu człowiek przegląda wpis i dopiero wtedy go zapisuje. Z pierwszych 33 etykiet kontrole oznaczyły jako wątpliwą jedną, a kiedy później proces odczytywał etykiety z całych zakupów (ponad sześćset), wątpliwa okazywała się mniej więcej co czwarta. Odczyt trwał średnio około półtorej minuty na etykietę.

Jest jednak w tym przykładzie rzecz, której wciąż nie umiem powiedzieć: o ile szybciej jest teraz niż wtedy, gdy przepisywałem etykiety ręcznie. Czasu ręcznej pracy nie zmierzyłem na starcie, więc mogę podać czas po automatyzacji, ale nie to, ile zyskałem, i właśnie od tego pomiaru zacząłbym dziś każdą automatyzację.

Dane testowe i próbne uruchomienia

Kiedy proces jest opisany i sprawdzony ręcznie, przychodzi pora na samą automatyzację, i tu znów trzeba zarezerwować czas na start: model AI potrzebuje danych wystarczająco dobrych i wystarczająco różnorodnych (nie tylko najczystszych przykładów, ale też tych nieczytelnych, nietypowych i niekompletnych, które w rzeczywistości trafiają się regularnie). Potem uruchamiam proces kilka razy na przypadkach, dla których znam poprawny wynik, porównuję to, co wyszło, z tym, czego się spodziewałem, poprawiam polecenia albo kolejność kroków i uruchamiam jeszcze raz. Jeden udany przebieg niewiele dla mnie znaczy, bo model zapytany drugi raz o to samo nie musi odpowiedzieć tak samo.

Jeden agent AI od wszystkiego

Szczególnie ryzykowny wydaje mi się układ, w którym jeden agent AI dostaje całe zadanie naraz (odczytać, zdecydować, zapisać, wysłać), a tego, co z niego wychodzi, nikt nie sprawdza. Taki układ może przez jakiś czas działać, ale kiedy coś zaczyna się psuć, trudno ustalić, w którym miejscu, bo wszystkie kroki odbywają się w jednym przebiegu i nie zostawiają po sobie śladu. Wolę dzielić proces na mniejsze kroki, z których każdy kończy się wynikiem możliwym do sprawdzenia, a to, co da się policzyć (sumy, daty, kompletność pól, zgodność z listą), oddaję zwykłemu programowi, bo program, w przeciwieństwie do modelu, nie szacuje.

Pilotaż wdrożenia AI z kontrolą człowieka

Pierwszy okres po uruchomieniu potraktowałbym jak pilotaż, w którym człowiek przegląda każdy wynik, zanim ten trafi dalej. Brzmi to tak, jakby automatyzacja nie dawała żadnych oszczędności, i na początku rzeczywiście daje ich niewiele, ale to najprostszy znany mi sposób, żeby zmierzyć, jak często model AI popełnia błędy i jakiego są one rodzaju. Dopiero na tej podstawie rozluźniłbym kontrolę: najpierw człowiek przeglądałby tylko wyniki oznaczone jako wątpliwe i losową próbkę pozostałych, a jeśli liczby nadal by się zgadzały, próbkę można by zmniejszać. Ile kontroli zostaje na stałe, zależy od tego, ile kosztuje błąd (pomyłka w wewnętrznej notatce to coś innego niż pomyłka w kwocie na dokumencie, który trafia do klienta).

Koszty i utrzymanie automatyzacji AI

Koszt działania takiego procesu (przy modelach AI w chmurze, za które płaci się od ilości przetworzonego tekstu) to szacunek, a nie stała kwota, bo zależy od liczby dokumentów, ich długości, od tego, ile razy proces musi coś powtórzyć, i od cennika dostawcy, który też się zmienia. Zamiast obiecywać konkretną liczbę, podałbym przedział i ustawił limit wydatków, po którego przekroczeniu proces się zatrzymuje albo ktoś dostaje powiadomienie.

Po uruchomieniu zostaje jeszcze utrzymanie: zmienia się format danych na wejściu, pojawiają się nowe modele AI (czasem lepsze i tańsze), a usługa, od której proces zależy, potrafi przestać działać. U mnie przez siedem dni z rzędu model nie odpowiedział ani na jedno zapytanie agentów AI, którzy co rano przygotowują raporty. Raport i tak wychodził codziennie, bo obliczenia wykonuje zwykły program, a model tylko je opisuje, ale samej przerwy nie wychwycił program, który pilnuje moich komputerów. Ktoś musi takie rzeczy zauważać i naprawiać, i jest to stała praca, a nie jednorazowy projekt.

Kto w firmie nadzoruje pracę AI

Najmniej oczywista zmiana dotyczy ludzi. Moim zdaniem automatyzacja oparta na AI zwykle nie usuwa pracy człowieka, tylko zmienia jej charakter: zamiast wykonywać każdy krok samodzielnie, ktoś kieruje pracą modelu AI i sprawdza jej wynik. Ta osoba powinna znać proces lepiej niż ktokolwiek inny, rozstrzygać przypadki, których zasady nie przewidziały, czytać wyniki oznaczone jako wątpliwe i zauważać, kiedy jakość zaczyna się powoli pogarszać, a do tego potrzebuje czasu i prawa do podejmowania decyzji. Wolny czas rzeczywiście się pojawia, ale spodziewam się, że będzie go mniej i przyjdzie później niż w obrazie z początku tej notatki, a najwięcej odzyskuje się w tej części procesu, która była najbardziej uciążliwa (i właśnie od niej warto zacząć).

Jeśli myślisz o takiej automatyzacji u siebie, na stronie głównej zebrałem krótko, co warto wiedzieć przed naszą rozmową.

W skrócie

• Automatyzację warto zaczynać od procesu, który już istnieje: opisać jego kroki i zasady, wskazać najbardziej uciążliwą część, zmierzyć czas i koszt, a potem wykonać cały proces ręcznie, aż każdy krok będzie działał, bo bez pomiaru ręcznej wersji nie da się potem policzyć, ile automatyzacja dała.
• Start wymaga czasu na przygotowanie dobrych i różnorodnych danych, kilka próbnych uruchomień na przypadkach o znanym wyniku i poprawki po każdym z nich.
• Jeden agent AI od wszystkiego, którego wyników nikt nie sprawdza, może przez jakiś czas działać, ale kiedy zaczyna się psuć, trudno ustalić, w którym miejscu. Mniejsze kroki i zwykły program do tego, co da się policzyć, sprawdzają się u mnie lepiej.
• Na początku pilotażu człowiek sprawdza każdy wynik, a kontrolę warto rozluźniać dopiero na podstawie pomiarów.
• Koszt działania to szacunek zabezpieczony limitem wydatków, po uruchomieniu zostaje utrzymanie, a ktoś musi kierować pracą AI i ją sprawdzać.