Halluzinationsraten: probabilistische Grenzen & aktuarieller Einsatz

Inhalt/Übersicht

Thema
Halluzinationsvermeidung durch agentische Pipeline: Theoretische Herleitung und Beweis, praktische Beispiele, Applikation im aktuariellen Alltag

Beschreibung
Für die Operationalisierung von agentischer KI im aktuariellen, aber auch allgemeinen unternehmerischen Umfeld sind Halluzinationen eines der Haupthindernisse. Sprachmodelle auf Basis der Transformer-Architektur sind inhärent stochastisch. Die Erwartung an bisherige, deterministische IT-Systeme, dass gleicher Input und unverändertes System identischen Output bedeuten, ist beim Einsatz von LLMs und agentischer KI grundsätzlich falsch.
Die damit einhergehende Unvorhersagbarkeit der Güte einer konkreten Antwort lässt die skalierte Applikation von agentischer KI auf aktuarielle Use Cases herausfordernd erscheinen, und bedeutet, dass business cases diese Halluzinationen und ihre möglichen Folgen einpreisen müssen.
In dieser Websession entwickeln wir im ersten Teil ein mathematisches Framework, das dieses Problem konkret und praxisnah adressiert. Wir entwickeln die nötige Theorie zur Konstruktion der „judged-selection“ pipeline für „einfache, lösbare Aufgaben“ und führen den mathematischen Beweis, dass diese pipeline bei korrekter Implementierung die Wahrscheinlichkeit für das Auftreten von Halluzinationen kontrollierbar macht. Genauer: Eine inkrementelle Erweiterung der pipeline führt zu einer exponentiellen Abnahme der Halluzinationswahrscheinlichkeit. Wir werden zudem sehen, dass Experimente mit einfachen Aufgaben und open source-LLMs das Framework in der Praxis bestätigen.
Im zweiten Teil der Veranstaltung wenden wir die Erkenntnisse auf typische Aufgaben im aktuariellen Umfeld der Lebensversicherung an. Wir leiten zudem best practices für Aktuare in der Arbeit mit LLMs ab und zeigen, dass die Resultate zur pipeline ebenfalls Anwendung finden auf manuelle Tätigkeiten in Interaktion mit typischen LLM-basierten Chatbots.
Diese Websession basiert auf dem Paper „Probabilistic Guarantees for Reducing Contextual Hallucinations in LLMs”, in dem der Dozent gemeinsam mit seinem Co-Autor diese Herausforderungen adressiert hat.

Inhalt
Die Veranstaltung behandelt unter anderem folgende Themenbereiche:
• Grundlagen und Konzepte – Definition von einfachen Aufgaben, Herleitung und Beweis des Wiederhol-Lemmas, LLM-as-a-judge und Mehrheitsvotum
• Anwendungsanalysen – Identifikation von Einsatzmöglichkeiten sowie Bewertungsmethoden für Business Cases im aktuariellen Umfeld
• Umsetzung von Use Cases – von einfachen Beispielen bis zur Umsetzung aktuarieller Praxisaufgaben rund um die Pfefferminzia Leben
• Limitationen und Herausforderungen – Beispiele für nicht einfache Aufgaben
• Zukunftsperspektiven – Erwartungen an Erweiterung des theoretischen Frameworks Educated Guesses für die Bewertung von Implementierungsoptionen agentischer KI

Methodik
Die Websession kombiniert die Vermittlung von theoretischem Wissen mit praxisnahen Anwendungsfällen. Das Konstruktionsprinzip der Pipeline und die praxisnahe Anwendung der Prinzipien im manuellen Arbeiten mit LLM-Systemen werden am Beispiel illustriert.

Zielgruppe
Diese Veranstaltung richtet sich an alle Aktuarinnen und Aktuare, die das Potenzial von Large Language Models im Kontext von Agentic AI operationalisieren wollen und den Anspruch haben, belastbare business cases und Kontrolle von Fehlerraten in die Konzeption von Use Cases einzubringen.

Vorkenntnisse
Erste Erfahrungen mit Generativer KI sowie Grundkenntnisse in einer modernen Programmiersprache wie Python sind hilfreich, aber nicht zwingend erforderlich. Die Websession bietet klare Anleitungen und praxisorientierte Beispiele, wobei alle Konzepte und Anwendungsfälle mit begleitendem Material veranschaulicht werden.

Referent
Dr. Nils Rautenberg ist Aktuar (DAV). Hauptberuflich arbeitet er als Bereichsleiter im Bereich Produkttechnik bei HDI Deutschland.

Hinweise/Veranstaltungsspezifische Konditionen

Die Veranstaltung findet online als Websession (i.d.R. via Zoom) statt. Ihre Zugangsdaten gehen Ihnen mit dem Registrierungslink nach Ablauf der Stornofrist zu. Falls Sie sich kurzfristig (innerhalb der letzten zwei Werktage vor Veranstaltungsbeginn) für die Veranstaltung anmelden, nehmen Sie bitte unter info@aktuar.de Kontakt zur Geschäftsstelle auf, um sicher alle relevanten Informationen zu erhalten.

Eine Teilnahmebestätigung wird nur dann ausgestellt, wenn Sie durchgehend von Anfang bis Ende an der Veranstaltung teilgenommen haben.

Wir weisen darauf hin, dass alle Registrierungs-/Zugangslinks sowie Materialien dem Copyright unterliegen und nicht weitergegeben werden dürfen.

Gruppenbuchung: Eine Gruppenbuchung ist möglich, wenn fünf Personen eines Unternehmens mit derselben Rechnungsanschrift die Teilnahme an derselben Websession/an demselben Präsenzseminar buchen. Bitte senden Sie uns im Anschluss an die individuellen Anmeldungen auf unserer Webseite eine E-Mail an info@aktuar.de mit den Namen der fünf Teilnehmenden. Geben Sie uns bitte in diesem Zuge auch den Namen der Person an, die kostenfrei teilnehmen soll. Andernfalls erfolgt die Auswahl durch die DAA.