Evals i prompt regression testing w automatyzacji B2B
Budowa systemu ewaluacji modeli językowych w sprzedaży: tworzenie zbioru testowego (Golden Dataset), testy regresyjne promptów i metoda LLM-as-a-Judge.
Problem i diagnoza
Wprowadzenie drobnej zmiany w prompcie kwalifikującym leady (np. dopisanie nowego kryterium branżowego) może niepostrzeżenie popsuć skuteczność w 20 innych scenariuszach. Brak testów regresyjnych sprawia, że błędy wychodzą na jaw dopiero po utracie wartościowych transakcji, gdy wypaczone reguły odrzucą kluczowe szanse.
Metoda działania krok po kroku
System ewaluacji (Evals) w automatyzacji sprzedaży chroni pipeline przed degradacją jakości po modyfikacji promptów:
| Komponent systemu Evals | Rola | Sposób realizacji |
|---|---|---|
| Golden Dataset | Wzorcowa próba testowa | Zbiór 50-100 realnych, trudnych leadów z ręcznie przypisaną wzorcową decyzją |
| Metryki skuteczności | Ocena jakości klasyfikacji | Accuracy, Precision (unikanie fałszywych leadów), Recall (niewyrzucanie dobrych) |
| LLM-as-a-Judge | Zautomatyzowany sędzia | Większy model (np. Claude 3.5 Sonnet / GPT-4o) oceniający wyjście z punktową rubryką |
| CI/CD dla promptów | Bramka wdrożeniowa | Zakaz publikacji promptu do n8n, jeśli wynik testu spadł poniżej 92% |
- Zgromadź zbiór testowy (Golden Dataset) zawierający min. 50 zróżnicowanych przypadków: leady idealne, przypadki graniczne (edge cases) oraz próby phishingu/spamu.
- Dla każdego przypadku zdefiniuj wzorzec oczekiwany (Ground Truth) zatwierdzony przez Head of Sales.
- Przed wdrożeniem nowej wersji promptu uruchom automatyczny skrypt testujący (np. w Pythonie lub n8n), porównujący wersję v1 i v2.
- Przeanalizuj macierz pomyłek (Confusion Matrix): czy nowy prompt nie generuje fałszywych odrzuceń (False Negatives) na kluczowych kontach.
Praktyczny przykład (ZŁY vs DOBRY)
- ZŁY
- Zmiana promptu bezpośrednio na produkcji w Make bez testów. Po 3 dniach okazuje się, że nowy warunek odrzucił wszystkich dyrektorów IT z firm poniżej 100 osób, ucinając pipeline o 40 000 zł.
- DOBRY
- Zestaw 50 leadów wzorcowych w arkuszu ewaluacyjnym. Przed wdrożeniem promptu v2 system generuje raport regresji: zgodność z decyzjami handlowca wzrosła z 86% do 94%, a trudne przypadki spółek holdingowych są poprawnie kwalifikowane.
Gotowy prompt do skopiowania
Jesteś inżynierem jakości systemów AI (AI Evaluation & QA Engineer) w zespole sprzedaży. Kontekst: Modyfikuję główny prompt kwalifikujący i scoringujący leady w [MAKE / N8N]. Chcę wdrożyć system ewaluacji (Evals), aby uniknąć regresji jakości. Obecny model produkcyjny: [GPT-4O-MINI / CLAUDE 3.5 HAIKU]. Sędzia (LLM-as-a-Judge): [CLAUDE 3.5 SONNET / GPT-4O]. Zadanie: 1. Zaprojektuj strukturę zbioru testowego (Golden Dataset) w formacie JSON/tabeli: jakie 5 kategorii leadów musi się w nim znaleźć. 2. Zdefiniuj rubrykę oceniania dla sędziego (LLM-as-a-Judge) w skali 1-5 pod kątem: trafności biznesowej, precyzji uzasadnienia i przestrzegania ograniczeń negatywnych. 3. Podaj kryteria akceptacji wdrożenia (Pass/Fail criteria): jakie progi procentowe Precision i Recall decydują o dopuszczeniu promptu do produkcji. 4. Sformułuj prompt dla modelu sędziego (Judge Prompt) z zakazem pobłażliwości dla halucynacji. Format: Kompletny szablon procedury Evals z promptem sędziego i strukturą tabeli testowej.
Warianty promptu i scenariusze
Wykorzystanie dedykowanych bibliotek: DeepEval, Promptfoo lub Braintrust do automatycznych testów w GitHub Actions.
Wersja niska-bariera: automatyczny arkusz Google Sheets z webhookiem n8n odpalającym testy 50 wierszy na żądanie.
Ćwiczenie i checklista wdrożenia
Zadanie praktyczne
Stwórz prosty zestaw 10 trudnych przypadków leadów i przetestuj na nich dwie wersje swojego promptu, mierząc, która wersja popełniła mniej błędów klasyfikacji.
Kryteria sukcesu
Pytania wdrożeniowe i integracja z bazą CEIDG (FAQ)
Jak połączyć technikę „Evals i prompt regression testing w automatyzacji B2B” z arkuszem nowych firm CEIDG w Google Sheets?
W zadaniu z obszaru Quality Control podstaw pod zmienne w prompcie bezpośrednie kolumny z żywego arkusza prospekting.pl w Google Sheets: nazwę podmiotu (kolumna A), imię właściciela (kolumna E), główny kod PKD 2025/2007 (kolumna I), opis branży wygenerowany przez AI (kolumna K) oraz wykryte zawody decydenta (kolumna L). Pełne wdrożenie zajmuje średnio 13 min.
Jak zweryfikować poprawność wdrożenia lekcji „Evals i prompt regression testing w automatyzacji B2B” przed skalowaniem?
Przed podpięciem promptu pod automatyzację w Make.com lub n8n przetestuj go ręcznie na próbce 10–15 rekordów i sprawdź listę kontrolną: Zgromadzono zbiór testowy (Golden Dataset) z trudnymi przypadkami brzegowymi • Zdefiniowano mierzalne progi jakościowe (Precision i Recall min. 90%) • Skonfigurowano testy porównawcze v1 vs v2 przed publikacją zmian na produkcji.
Jak stosować wiadomości wygenerowane w tej lekcji zgodnie z RODO (art. 14) i art. 398 PKE?
Przy kontakcie elektronicznym (e-mail lub telefon) z nowo zarejestrowaną działalnością gospodarczą z CEIDG stosuj dwuetapowy model kontaktu zgodny z art. 398 Prawa Komunikacji Elektronicznej (PKE): pierwsza wiadomość powinna weryfikować potrzebę biznesową i pytać o zgodę na przesłanie oferty handlowej wraz ze skróconą klauzulą informacyjną z art. 14 RODO (wzór znajdziesz na stronie Baza firm z e-mailami i telefonami — RODO i PKE).
Powiązane lekcje i następne kroki w procesie
Metodologia (How & Why): Wszystkie szablony promptów i procedury w Akademii prospekting.pl są testowane na żywych strumieniach danych z API Hurtowni Danych CEIDG v3 (800–1 100 nowych JDG dziennie, 22 kolumny z mapowaniem PKD 2025 ↔ PKD 2007). Eliminujemy ogólnikowy żargon, stosując twarde ograniczenia negatywne (negative constraints) i weryfikowalne kryteria konwersji.
Zastrzeżenie prawne (YMYL Disclaimer): Materiały w Akademii mają charakter edukacyjno-techniczny i nie stanowią indywidualnej porady prawnej. Prowadząc komunikację elektroniczną B2B na bazie rejestrów publicznych, stosuj przepisy RODO (art. 6 ust. 1 lit. f oraz art. 14) i art. 398 Prawa Komunikacji Elektronicznej (PKE).
Otwórz darmowy arkusz 50 świeżych firm z CEIDG w Google Sheets i wypróbuj powyższy prompt na realnych rekordach z kodami PKD 2025.