Stelle sicher, dass die eingesetzten Technologien langfristig kompatibel und zukunftssicher sind. Dafür lohnt es auch, sich die Zeit zu nehmen, um kleine Tests zwischen den einzelnen Tools durchzuführen. Denn eine spätere Migration von einem Tool zu einem neuen wird deutlich mehr Zeit benötigen, als eine fundierte Evaluation der Technologien. Des Weiteren sollte man bei Folgeprojekten immer in Betracht ziehen, Anpassungen in den Technologien vorzunehmen, um auf den sich schnell verändernden Toolmarkt reagieren zu können. Motiviere außerdem Deine Kollegen zu Eigenrecherchen, damit Euer Team die größtmögliche Toolbreite abdecken kann.

Iterative Ansätze sorgen für Flexibilität, um neue Erkenntnisse schnell in das Projekt einfließen zu lassen. Sorge daher für ein offenes Arbeitsklima, welches konstruktive Kritik zulässt und so die inkrementelle Produktverbesserung fördert.

Feedback in regelmäßigen Entwicklungszyklen kann Fehlerquellen frühzeitig aufdecken. Durch dieses Feedback erhält man direkt aus der Fachabteilung handfeste Punkte, an denen noch gefeilt werden kann, um aus einem guten Tool ein exzellentes zu realisieren und dem Nutzer in perfekter Weise zur Hand zu gehen. Dies gilt sowohl für die Funktionalität der KI Anwendung als auch für die UI. Denn letztendlich ist der Anwender die Person, die mit der UI zurechtkommen und bei der die UI ein positives Gefühl bei ihrer Verwendung vermittelt muss.

Um das Thema Halluzinationen der GenAI-Modelle aufzudecken, benötigt es Maßnahmen, die diese Probleme und das Feedback direkt an die Entwickler weiterleiten. Hierfür existieren diverse Evaluationsmetriken, die auf Basis des Use Case selektiert werden. Die Metriken und Maßnahmen sollten sich für den Use Case eignen und speziell auf diesen ausgerichtet sein. Beispielsweise gibt es die Möglichkeit, durch eine zweite GenAI-Instanz eine automatische Beurteilung der Antwort generieren zu lassen oder Testfragen zu nutzen, bei denen die Antwort bereits bekannt ist und auf inhaltliche Übereinstimmung überprüft werden kann.

Eine zentrale Maßnahme zur Lösung dieser Herausforderung besteht darin, den Stakeholdern frühzeitig zu erläutern, weshalb eine eigens gehostete Applikation anfangs möglicherweise nicht die gleiche Qualität oder den gleichen Funktionsumfang wie das zugrunde liegende ChatGPT erreicht. Gerade in den ersten Iterationen und Feedbackschleifen können die generierten Ergebnisse weniger präzise sein. Entscheidend ist hier ein klar kommuniziertes Erwartungsmanagement: Der Kunde muss wissen, dass die Qualität der generierten Antworten in hohem Maße von den hinterlegten Prompt-Anweisungen abhängt. Diese Anweisungen müssen in mehreren Iterationsstufen immer weiter optimiert werden, bis das Tool exakt auf den Anwendungsfall abgestimmt ist. Sobald das Modell jedoch die Phase des Prompt-Finetunings erreicht, kann es ChatGPT sogar übertreffen. Der Grund dafür liegt in der zielgerichteten Anpassung der Prompts, die von menschlichen Anwendern normalerweise nicht so detailliert formuliert werden könnten. Diese Präzision verhindert fehlerhafte oder unklare Antworten und sorgt letztlich dafür, dass das System perfekt auf den jeweiligen Use Case und den erwarteten Output ausgerichtet ist.