Przewodnik po przygotowaniu i angażowaniu pracowników do wdrożenia asystenta AI. Część III: Relacje

To jest trzecia część naszej serii artykułów, w której dzielimy się naszymi spostrzeżeniami i wnioskami z niedawnego studium przypadku dotyczącego wdrożenia asystentów AI w dużych firmach zatrudniających od 100 do 1 000 pracowników zaangażowanych w tworzenie treści, a także w firmach produkcyjnych obsługujących tysiące zgłoszeń serwisowych dziennie.

Wierzymy, że nasze wnioski mogą być cenne zarówno dla organizacji medialnych, jak i produkcyjnych, więc jeśli działasz w tej branży – zapraszamy. Krótkie omówienie projektu i jego kontekstu znajdziesz tutaj.

Ta część skupia się na relacjach (które postrzegamy jako wynik równania ludzie + system) — opisując kluczowe elementy, które uważamy za istotne dla udanego wdrożenia asystenta AI. Lista nie jest wyczerpująca – chcemy opisać to, co było dla nas najważniejsze (i najtrudniejsze). Omawiane elementy to: 1. Przejrzystość i kontrola jakości, 2) Wspieranie ludzi w zarządzaniu AI, 3) Pomiar poprzez feedback, 4) Lokalny feedback.

Sprawdź też pozostałe dwie części naszego studium: Ludzie i System .

1) Przejrzystość i kontrola jakości

Słowo „ryzyko" nie pojawiało się tak często w naszych projektach od dawna, jak przy wdrożeniu asystentów AI. W tej dyskusji mamy do czynienia nie tylko z wyzwaniami technologicznymi, ale także prawnymi, finansowymi i HR-owymi, a do tego obawami o jakość i użyteczność tworzonych treści. Od samego początku rozumieliśmy jedno: aby skutecznie zarządzać tymi ryzykami, potrzebowaliśmy prostego i przejrzystego sposobu identyfikowania wyników pracy AI.

Aby to osiągnąć, wprowadziliśmy system tagowania wszystkich artykułów i zgłoszeń zawierających tekst wygenerowany przez AI, co ułatwiło ich wyszukiwanie. Ale to był dopiero początek. Poszliśmy dalej, prowadząc pełny rejestr każdej interakcji z chatem, w tym promptów, odpowiedzi, źródeł i wszystkich opcji i ustawień użytych podczas procesu.

Nacisk na przejrzystość ogranicza spekulacje i plotki, prowadząc do bardziej precyzyjnego i świadomego zarządzania projektem. Zapewnia to, że tworzone przez nas treści są wysokiej jakości, użyteczne i efektywne, spełniając standardy redakcyjne i cele biznesowe.

Obejrzyj: 6 nieoczywistych sygnałów, że możesz potrzebować konsultacji UX:

2) Wspieranie ludzi w zarządzaniu AI

Pamiętasz swoją pierwszą rozmowę z chatbotem? Język i wiedza, jaką wykazywał, były imponujące – AI może być naprawdę zdumiewająca pod względem swoich możliwości.

Jej słabości szybko jednak stają się widoczne przy intensywnym i profesjonalnym użytkowaniu. Choć nie kontrolujemy wielu aspektów zachowania silnika AI, kontrolujemy doświadczenie użytkownika (UX) naszej aplikacji.

Przykłady konkretnych ryzyk:

• Cytaty: AI ma tendencję do parafrazowania cytatów, co może być problematyczne. Na przykład w artykule informacyjnym nie chciałbyś, aby słowo „idiota" zostało zastąpione słowem „głupiec" w cytacie dotyczącym kogoś obrażającego osobę publiczną. Wyróżniamy cytaty w tekście, aby były ręcznie weryfikowane.

• Źródła: AI nie zawsze ściśle stosuje się do promptów, czasem pomijając lub dodając źródła. Za każdym razem informujemy użytkownika o konkretnych źródłach wykorzystanych przez model, umożliwiając właściwą weryfikację.

Jak więc skutecznie zarządzać tymi ryzykami?

• Identyfikuj słabości. Przed opracowaniem aplikacji testuj modele przez interfejsy czatu i interakcje API. Symuluj zadania, które AI będzie musiała wykonywać, i zwracaj szczególną uwagę na wszelkie niedobory, które się pojawiają.

• Zarządzanie ryzykiem. Po zidentyfikowaniu słabości możesz dostosować aplikację, aby wspierała użytkowników w interakcjach z AI, zmniejszając wpływ wszelkich ograniczeń.

• Bieżące monitorowanie ryzyka. Regularnie oceniaj te słabości w nowych wersjach modeli AI. W miarę ewolucji silników wiele problemów może się rozwiązać samo.

Przykłady

Przykład 1

Model zmieniał cytaty mimo wyraźnych instrukcji.

Wdrożyliśmy dodatkowy prompt przywracający cytaty do oryginalnej formy. Dodatkowo oznaczyliśmy cytaty w tekście, aby redaktorzy mogli je ręcznie zweryfikować. Ta dodatkowa warstwa kontroli pomogła ograniczyć potencjalne błędy.

Przykład 2

Model ignorował instrukcje dotyczące źródeł, co rodziło obawy prawne.

Rozwiązaliśmy to, dołączając listę źródeł użytych przez model, zapewniając, że źródła były dokładne i zgodne z wymaganiami oryginalnego promptu.

3) Przeglądanie AI jest nudne

Każda aplikacja musi być dokładnie mierzona, szczególnie ta zaprojektowana jako narzędzie profesjonalne. Mierzymy, jak dobrze system funkcjonuje i czy osiąga zamierzone cele. Na przykład analityka wykazała, że artykuły pisane z pomocą AI powstają niemal pięć razy szybciej niż te pisane ręcznie.

Ale pomiar to coś więcej niż tylko szybkość – dostarcza cennych informacji o zachowaniach użytkowników. Pozwala nam to odkrywać niekonwencjonalne scenariusze i zachowania, które byłoby trudno przewidzieć.

Na przykład wprowadziliśmy etykietę „wspomagane przez AI" dla artykułów, w których co najmniej jeden akapit został wygenerowany przez AI. Po tygodniu zauważyliśmy, że liczba takich artykułów była niższa niż oczekiwano. Okazało się, że redaktorzy omijali wyznaczoną ścieżkę. Zamiast używać udostępnionego przycisku do wstawiania treści wygenerowanych przez AI, ręcznie kopiowali i wklejali tekst. W efekcie nasz system śledzenia nie rejestrował tych artykułów.

Ważne jest też, aby powiedzieć, że osiągnięcie szybkości i wolumenu przy pomocy AI jest proste – prawdziwym wyzwaniem jest doskonalenie jakości wyników AI. Wymaga to polegania na wiedzy ludzkiej w celu iteracyjnego testowania hipotez i rozwiązywania pojawiających się problemów. Na szczęście szybki postęp silników AI ułatwił to zadanie. W rzeczywistości zdarzały się przypadki, gdy zaktualizowana wersja AI rozwiązywała problemy na poziomie modelu językowego, zanim zdążyliśmy wdrożyć nasze zaplanowane poprawki.

4) Pomiar jako forma feedbacku

Każda aplikacja musi być dokładnie mierzona, szczególnie ta zaprojektowana jako narzędzie profesjonalne. Mierzymy, jak dobrze system funkcjonuje i czy osiąga zamierzone cele. Na przykład analityka wykazała, że artykuły pisane z pomocą AI powstają niemal pięć razy szybciej niż te pisane ręcznie.

Ale pomiar to coś więcej niż tylko szybkość – dostarcza cennych informacji o zachowaniach użytkowników. Pozwala nam to odkrywać niekonwencjonalne scenariusze i zachowania, które byłoby trudno przewidzieć.

Na przykład wprowadziliśmy etykietę „wspomagane przez AI" dla artykułów, w których co najmniej jeden akapit został wygenerowany przez AI. Po tygodniu zauważyliśmy, że liczba takich artykułów była niższa niż oczekiwano. Okazało się, że redaktorzy omijali wyznaczoną ścieżkę. Zamiast używać udostępnionego przycisku do wstawiania treści wygenerowanych przez AI, ręcznie kopiowali i wklejali tekst. W efekcie nasz system śledzenia nie rejestrował tych artykułów.

5) Lokalny feedback

Lubimy organizować duże ankiety i przeprowadzać wywiady, ale odkryliśmy, że zbieranie tego, co nazywamy „lokalnym feedbackiem", jest również bardzo cenne. Chodzi o zbieranie opinii w kontekście – dokładnie w momencie, gdy użytkownik aktywnie korzysta z systemu. Takie podejście wychwytuje świeże emocje, ponieważ użytkownik wciąż jest w trakcie swojego doświadczenia.

Na przykład wiemy, jak zidentyfikować dokładny moment, gdy użytkownik kończy swoją bieżącą interakcję z chatem. To idealny czas, aby poprosić o szybki feedback – ocenę i komentarz – gdy doświadczenie jest jeszcze świeże w pamięci.

Kilka dodatkowych wskazówek:

Wskazówka 1: Możesz prosić o feedback w wielu punktach podróży użytkownika. Jednak rozłóż te pytania w czasie, aby użytkownicy czuli się komfortowo.

Wskazówka 2: Po wydaniu nowej wersji aplikacji zadaj te same pytania, aby śledzić, jak ewoluują opinie użytkowników. Pomaga to mierzyć postępy lub identyfikować nowe obszary wymagające uwagi w miarę rozwoju narzędzia.

6) Czy powinieneś nadać swojemu asystentowi AI imię?

Istnieje pokusa nadawania asystentom AI imion, tak jak nazywamy współpracowników, zwierzęta domowe czy ulubione przedmioty.

Naturalnie, ten pomysł też nam przyszedł do głowy i początkowo większość zespołu była za. Jednak rozsądek wziął górę. Wciąż jesteśmy na wczesnych etapach korzystania z AI, pełnych wątpliwości i obaw. Zdajemy sobie sprawę, że AI wiąże się z ryzykiem, ale nie rozumiemy jeszcze w pełni jego zakresu ani wpływu na jakość naszej pracy. Musimy pozostać bardzo czujni w ocenie jej wyników. Zbytnio ufać AI <mark>byłoby przedwcześnie, a nadanie jej imienia, tym samym uczłowieczenie, tylko by podważało to ostrożne podejście.

Ponadto, niezależnie od jakości pracy AI, to ludzki redaktor pozostaje w pełni odpowiedzialny za końcowy produkt. Musi gruntownie przejrzeć, dopracować i ostatecznie zatwierdzić treść. Po długich dyskusjach wybraliśmy prostą, jednoznaczną etykietę: Asystent AI. Odzwierciedla ona jego prawdziwą rolę – wspomaganie, a nie zastępowanie ludzkiego osądu. To AI, a nie człowiek.

Czy wzbudziło to Twoje zainteresowanie?

To była trzecia (i ostatnia) część naszych spostrzeżeń z projektu wdrożenia asystenta AI. Kliknij tutaj, aby przejść do Części Pierwszej (Ludzie) i Części Drugiej (System). Jeśli uważasz, że coś wymaga uzupełnienia i chcesz podzielić się opinią, skontaktuj się ze Sławkiem, który chętnie omówi z Tobą ten temat! Sprawdź też nasze studia przypadków i najnowsze artykuły o AI w UX.