Człowiek w pętli: kiedy AI może działać samo, a kiedy ktoś potwierdza
„AI nie wysyła, nie usuwa i nie płaci bez potwierdzenia człowieka” brzmi dobrze, ale w praktyce trzeba zdecydować, co dokładnie potwierdzać, kto i jak długo. Oto tabela, której używam.
Działania mają różną wagę
Pytanie „czy ufamy AI” jest źle postawione. AI, które czyta i podsumowuje, może się pomylić i nic się nie stanie: ktoś przeczyta złe podsumowanie i sprawdzi w źródle. AI, które wysyła mail do klienta albo przelewa pieniądze, myli się z konsekwencjami. Dlatego zasady ustalam według typu działania, nie według tego, jak bardzo model jest „inteligentny”.
Tabela decyzji
| Działanie | Przykład | Na starcie | Po okresie próbnym | Nigdy samo |
|---|---|---|---|---|
| Odczyt | Znajdź, podsumuj, porównaj, odpowiedz z dokumentów | Samo, z podaniem źródła | Samo | — |
| Szkic | Odpowiedź na mail, notatka, opis produktu, propozycja kategorii | Samo; szkic czeka na człowieka | Samo | — |
| Wysyłka | Mail do klienta, wiadomość na czacie, publikacja | Człowiek zatwierdza każdą | Wyjątki: wąskie kategorie z wysoką zgodnością | Oferty, sprawy sporne, pierwsze kontakty |
| Zmiana | Pole w CRM, status zgłoszenia, termin w kalendarzu | Człowiek zatwierdza każdą | Wyjątki: jedno pole, odwracalne, z dziennikiem | Dane kontaktowe klienta, ceny, umowy |
| Usunięcie | Rekord, plik, kontakt, wiadomość | Człowiek, zawsze | Człowiek, zawsze; AI może proponować listę | Wszystko. Archiwizacja zamiast usuwania |
| Płatność | Przelew, zamówienie, zmiana limitu | Człowiek, zawsze | Człowiek, zawsze; AI przygotowuje | Wszystko |
Dwie kolumny po prawej są ważniejsze niż się wydaje. „Nigdy samo” to lista, która nie zmienia się po udanym okresie próbnym. Usunięcia i płatności zostają przy człowieku nie dlatego, że AI się myli częściej, tylko dlatego, że pomyłki tam są nieodwracalne albo drogie. AI może przygotować listę rekordów do usunięcia i paczkę przelewów. Klika człowiek.
Jak wygląda „człowiek zatwierdza” w praktyce
Zatwierdzanie musi być wygodne, inaczej ludzie zaczną klikać „tak” bez czytania, a wtedy nie ma człowieka w pętli, jest tylko opóźnienie. Kilka reguł:
- Szkic pojawia się tam, gdzie człowiek i tak pracuje: w skrzynce, w CRM, na kanale zespołu. Nie w osobnym narzędziu.
- Obok szkicu jest źródło: fragment dokumentu, rekord, tabela. Sprawdzenie zajmuje sekundy.
- Odrzucenie ma pole „dlaczego”. Z tych odpowiedzi poprawia się instrukcje.
- Kolejka ma właściciela i czas reakcji. Szkic, który czeka trzy dni, jest gorszy niż brak szkicu.
Jak przejść od „potwierdzaj wszystko” do „potwierdzaj wyjątki”
- Zmierz zgodność. Przez pierwszy miesiąc każda decyzja AI jest zatwierdzana albo poprawiana. Liczymy, w ilu procentach przypadków człowiek nic nie zmienił, osobno dla każdej kategorii. Nie „ogólnie 90%”, tylko „potwierdzenia terminów 99%, reklamacje 70%”.
- Wybierz kategorie. Te z bardzo wysoką zgodnością i niską wagą pomyłki (potwierdzenie terminu, odpowiedź o godzinach otwarcia, przypisanie zgłoszenia do działu) są kandydatami do przejścia na wyjątki. Reklamacje nie, nawet przy 95%.
- Zdefiniuj wyjątek. Co nadal trafia do człowieka: pewność modelu poniżej progu, kwota powyżej progu, nowy klient, słowa „reklamacja”, „prawnik”, „rezygnacja”, cokolwiek spoza listy tematów. Wyjątek jest spisany, nie „jak coś będzie dziwne”.
- Włącz dla jednej kategorii. Nie dla wszystkich kandydatów naraz. Dwa tygodnie obserwacji z wyrywkową kontrolą: człowiek czyta co dziesiątą wysłaną wiadomość.
- Zostaw hamulec. Jeden przełącznik, który wraca do „potwierdzaj wszystko”. Dostępny dla kierownika, bez programisty. Używany po każdej poważniejszej pomyłce, do czasu wyjaśnienia.
Przykład przejścia
Przykład hipotetyczny: firma usługowa, skrzynka z pytaniami klientów. Miesiąc pierwszy: AI sortuje maile i pisze szkice, człowiek zatwierdza wszystko. Zgodność sortowania 96%, zgodność szkiców w kategorii „potwierdzenie terminu” 98%, w kategorii „pytanie o cenę” 60%. Miesiąc drugi: sortowanie działa samo, z wyjątkiem maili, w których model ma niską pewność; potwierdzenia terminów wychodzą same, jeśli klient jest w CRM i termin istnieje w kalendarzu; wszystko inne nadal zatwierdza człowiek. Po kwartale lista kategorii „same” ma pięć pozycji, a człowiek czyta dziennik raz w tygodniu. Pytania o cenę zostają przy człowieku na stałe, bo tam pomyłka kosztuje.
Jeśli budujecie automatyzację, w której AI podejmuje jedną decyzję, i chcecie mieć kolejkę wyjątków od pierwszego dnia, tak wygląda wdrożenie automatyzacji z jednym krokiem AI.