Public TrainingNew Training!Czech
How to ensure your AI chatbot doesn't talk nonsense?
Is your chatbot responding confidently but incorrectly? In this workshop, we'll show you how to systematically monitor the quality of AI chatbot responses before it costs you money, customers, or reputation. No programming required. Practical and clear – including how LLM-as-a-judge works (AI evaluating responses from another AI).
Wed, January 14, 2026 9:00 - 12:00 (Prague time)New date will be announcedHalf-dayUp to 10 participantsOnline
What We'll Cover Together
- Jak postavit eval dataset a měřit kvalitu odpovědí chatbotu průběžně
- Jak se dělají golden answers a jak poznat, kdy odpověď splnila očekávání
- Jak si nastavit opakovatelný proces a reporting místo pocitového hodnocení
- Jak připravit jednoduchý eval dataset (otázka → golden answer) pro chatbota využívající knowledge base
- Jak definovat evaluační kritéria: relevance, faktická správnost, úplnost, styl a bezpečnost
- Základní principy LLM-as-a-judge (AI jako hodnotitel) a kdy ho použít
- Praktická práce v Google Sheetu – úpravy evaluačního promptu a práce s hodnoticí logikou
- Jak si spočítat pass rate a identifikovat typické chyby
- Jak z výsledků udělat jednoduchý manažerský report
Eval DatasetGolden AnswersLLM-as-a-judgeQuality MetricsPass Rate Analysis