In der heutigen digitalen Ära sind Sprachmodelle nicht mehr nur ein Produkt der Fantasie; sie sind zu einem integralen Bestandteil unserer täglichen Technologien geworden. Diese Modelle, die von einfachen Textverarbeitungsprogrammen bis hin zu komplexen KI-basierten Systemen reichen, verändern die Art und Weise, wie wir kommunizieren, lernen und arbeiten.

Was sind Sprachmodelle?

Sprachmodelle sind Algorithmen, die darauf trainiert sind, menschliche Sprache zu verstehen und zu generieren. Sie basieren auf großen Mengen von Textdaten, aus denen sie Muster und Strukturen der Sprache lernen. Moderne Sprachmodelle wie GPT (Generative Pretrained Transformer) und BERT (Bidirectional Encoder Representations from Transformers) nutzen maschinelles Lernen, insbesondere Deep Learning, um komplexe Sprachaufgaben zu bewältigen.

Anwendungen von Sprachmodellen

In Bezug auf die Anwendung von Sprachmodellen könnte eine Vielzahl von Beispielen genannt werden.
Wir möchten hier vier gängige Anwendungen für Unternehmen vorgestellen für die wir einen Konkreten Demonstrator gebaut haben.

• Softwareentwicklung
• Sentiment Analyse
• Content Generierung
• Question Answering

Softwareentwicklung

In der Softwareentwicklung eröffnen Sprachmodelle neue Horizonte in Bezug auf Effizienz und Innovation. Durch die Analyse großer Mengen von Programmiercode können diese Modelle Muster erkennen und Entwicklern helfen, effizienteren und fehlerfreieren Code zu schreiben. Sie können beispielsweise Vorschläge für Code-Refactoring machen oder dabei helfen, Bugs zu identifizieren, indem sie inkonsistente Code-Muster aufzeigen. Ein weiterer Einsatzbereich ist die automatisierte Dokumentation.

Um einen konkreten Einstieg in die Codegenerierung zu bekommen, lassen wir uns mit ChatGPT eine HTML-Webseite erstellen. Das hat den Vorteil, dass man auch mit wenig oder gar keiner Programmiererfahrung schnell erste Ergebnisse sehen kann. “Erstelle mir den Code für eine Website, die aussieht wie die von Dunkin Donuts!” haben wir als Prompt genommen. Und innerhalb kürzester Zeit kam der Code zurück. Er lieferte eine einfache, aber für den Zeitaufwand beeindruckende erste Website. Um uns den Code anzeigen zu lassen, empfehlen wir Pesonen ohne Programmiererfahrung das Online-Tool http://codepen.io.

Das Ergebnis, welches wir auf dem Screenshot sehen, ist offensichtlich kein perfektes Endprodukt. Das war auch nicht der Anspruch. Wenn ich konkrete Verbesserungsvorschläge habe, kann ich diese in einer zweiten Eingabeaufforderung eingeben. So kann ich zum Beispiel die Hintergrundfarben ändern oder einen konkreten Text einfügen.

In diesem kleinen Beispiel haben wir lediglich mit HTML und Inline-CSS gearbeitet. Wenn man dem Chatbot jedoch mehr Informationen darüber geben möchte, was man möchte, kann man auch HTML, CSS und sogar funktionierende Javascript-Bausteine separat erstellen lassen. Die Codegenerierung mit Chatbots ist jedoch unabhängig von der Programmiersprache und kann Code für alle gängigen Programmiersprachen Generieren. Da es sich bei LLMs um Vorhersagemodelle handelt, die auf ihren Eingabedaten basieren, ist davon auszugehen, dass die gebräuchlicheren Sprachen wie Python, Java, C++ etc. allein aufgrund der verfügbaren Datenmenge genauere Ergebnisse liefern werden. Ebenso ist zu erwarten, dass Skriptsprachen und objektorientierte Sprachen besser abschneiden als Sprachen mit einer kleineren Benutzerbasis, wie z.B. funktionale Programmiersprachen.

Insgesamt ermöglichen Sprachmodelle in der Softwareentwicklung eine Steigerung der Produktivität, eine Verbesserung der Codequalität und eine Vereinfachung komplexer Entwicklungsaufgaben. Ihre Fähigkeit, aus großen Datenmengen zu lernen und anzuwenden, macht sie zu einem wertvollen Werkzeug in der stetig fortschreitenden Welt der Softwareentwicklung.

Sentiment Analyse

Viele Unternehmen erhalten Kundenrezensionen in unterschiedlicher Form. Der Prozess, alle Rezensionen angemessen zu beantworten und strukturierte Informationen daraus zu extrahieren, ist oft mühsam. Sprachmodelle haben sich als äußerst nützlich in der Sentiment-Analyse erwiesen, einem Bereich, der darauf abzielt, die Stimmung oder Meinung in Textdaten zu identifizieren und zu klassifizieren. Diese Modelle können große Mengen von Textdaten – wie Produktbewertungen, Kundenfeedback, Social-Media-Posts oder Nachrichtenartikel – effizient verarbeiten, um die darin enthaltenen Emotionen zu erkennen und zu analysieren.

Um einen konkreten Einstieg in die zu zeigen, haben wir reale Bewertungen von Google Maps über die Hochschule Offenburg genommen. Das Sprachmodell soll dabei drei Aufgaben umsetzen:

1. Die Hochschule in den Kategorien „Hochschule allgemein“ (Allgemeiner Eindruck der Hochschule), „Fairness“ (Objektivität bei Noten und Ähnlichem), „Dozenten“ (Interaktion mit Dozenten) und „Studentenleben“ (Interaktion mit anderen Studierenden) jeweils auf einer Skala von 1 bis 5 bewerten.
2. Die Rezensionen freundlich und kurz beantworten und bei Fragen auf info@hs-offenburg.de verweisen.
3. Sofern Kritikpunkte in den Rezensionen genannt werden: Eine To-Do-Liste für die Hochschulmitarbeiter erstellen, um die Kritikpunkte zu untersuchen.

Das Sprachmodell, das in diesem Szenario verwendet wird, ist GPT 3.5. In der Praxis würde man das Sprachmodell über die API ansteuern; in diesem Demonstrator wird jedoch die Web-UI verwendet.

Ein Beispiel ist für sie öffentlich zugänglich unter folgendem Link: https://chat.openai.com/share/3576b50a-a209-4fef-8015-ea8b05218046

Es ist wichtig zu betonen, das wir in der Prompt genau angegeben haben wie der Output auszusehen hat, also das Einordnen in Kategorien. Mit einer kürzeren Prompt hätten wir auch ein nicht so umfangreichen Output erhalten.
Bei verschiedenen versuchen konnten wir, dass die Chatbots für unser Subjektives empfinden erstaunlich gut umgehen konnte mit sprachlichen Stilmitteln, wie Doppelte Verneinung & Ironie. Grenzen des ganzen konnten wir sehen, dass sehr kritischen Rezensionen etwas zu positiv eingeschätzt werden und immer die Hochschule Offenburg verwendet wurde, auch wenn es sich nicht auf die Hochschule Offenburg bezgogen hat. Zweiteres ist aber zu erklären durch unsere ausführliche Fragestellung, trotzdem kommt es hier zu Haluzinationen.

Probieren Sie es doch selbst aus, indem Sie auf einem Chatbot Ihrer Wahl mit eigenen Rezessionen arbeiten. Die Einstiegshürden sind gering.

Content Generierung

Sprachmodelle revolutionieren die Welt der Content-Generierung durch ihre Fähigkeit, hochwertige, kreative und relevante Inhalte in kürzester Zeit zu erstellen. Diese Modelle sind in der Lage, Texte zu generieren, die von Blogbeiträgen und Artikeln über Produktbeschreibungen bis hin zu kreativen Geschichten reichen. Sie arbeiten, indem sie aus riesigen Datenmengen lernen, um Sprachmuster, Stile und Strukturen zu verstehen, und können angepasst werden, um Inhalte für spezifische Genres oder Altersgruppen zu produzieren. Die Verwendung von Sprachmodellen in der Content-Generierung bietet nicht nur Zeit- und Kosteneffizienz, sondern ermöglicht auch eine größere Kreativität und Vielfalt in den erstellten Inhalten. Ihre Fähigkeit, schnell und präzise zu arbeiten, macht sie zu einem unschätzbaren Werkzeug in der schnelllebigen Welt der Content-Erstellung.

Um einen konkreten Beispiel zu zeigen, haben wir für das reale Produkt „Sebamed Frische Dusche“ Content generieren lassen. Das Sprachmodell soll dabei drei Aufgaben umsetzen:

1. Verschiedene Arten von ContentUm dies zu konkretisieren, wurde zuerst eine Produktbeschreibung generiert, um darauf basierend dann die Beiträge erstellen zu können. Anschließend wurden dann ein Blogeintrag, ein Social Media Post, ein Text für ein TikTok-Video und eine knappe Bildunterschrift generiert.
2. Verschiedene Altersgruppen ansprechenZielgruppengerichtete Ansprache an verschiedene Altersgruppen ist ein gängiges Mittel in der Werbebranche. So variiert die Ansprache und der erstellte Content, wenn wir bewusst einen Content möchten für ältere Menschen, Jugendliche, Kinder, etc.
3. Verschiedene Sprachstile verwendenDies kann unterschiedliche Formen annehmen. Wenn wir in der Prompt dazu auffordern, klassische Werbeslogans einzubauen wie „9 von 10 Zahnärzten empfehlen“ oder „Ich empfehle meinen Freundinnen“, dann wird dies auch umgesetzt unabhängig von der Sinnhaftigkeit oder dem Bezug zum Produkt. Anders sieht es aus, wenn wir in der Prompt dazu auffordern, den Content zu formulieren in einer Form, wie es beispielsweise Darth Vader tun würde. Eine in der Praxis eher selten vorkommende Methode die dennoch zeigt welche möglichkeiten Sprachmodelle mit sich bringen.
   

Das Beispiel ist zugänglich unter: https://chat.openai.com/share/4376fc8c-b070-4c1e-ad2e-1a2ceb72be94

Insgesamt sticht hervor, dass das Sprachmodell durchaus kreative Aspekte einbindet. Außerdem enthalten die Antworten gleich passende Emojis und Hashtags, die normalerweise auch von Influencern und Firmen für Social Media Posts verwendet werden. Für ein TikTok Video wurde zudem nicht nur der Text für das Video generiert, sondern auch gleich ein kleines Skript mit Anweisungen zu Animationen und passender Musik generiert.
Insgesamt wurde durchaus ein Nutzen für beispielsweise das Marketing und Influencer erkannt, besonders zur Ideenfindung und Formulierung von Posts, es sollte davor jedoch auf jeden Fall die generierte Produktbeschreibung auf Korrektheit geprüft werden.

Question Answering

Sprachmodelle spielen eine zentrale Rolle im Bereich des Question Answering (QA), indem sie die Fähigkeit bieten, komplexe Fragen zu verstehen und präzise Antworten darauf zu generieren. Diese Modelle sind darauf trainiert, den Kontext einer Frage zu erfassen und relevante Informationen aus einer Vielzahl von Textquellen zu extrahieren, um eine genaue und informative Antwort zu liefern.

Die Einsatzmöglichkeiten dafür sind Umfangreich. Als ein konkretes Beispiel stellen wir Fragen zu einer Haftpflichtversicherung. 38 Seiten kleingedruckte Versicherungsklauseln, als ein recht trockener Text ist ein gutes Beispiel, da wohl eher selten jemand alles davon liest und dennoch jeder solch einen Text schonmal gesehen hat.

Dieser Einsatz bietet in erster Linie große Vorteile, da wir das Manuskript nicht mehr selbst durchsuchen müssen. Es kommt jedoch schnell an seine Grenzen, da es nur Fragen beantworten kann zudem auch Text im Dokument zu finden ist.
Ein weiterer interessanter Aspekt ist, wenn Fragen gestellt werden deren Antwort offensichtlich nicht in dem Dokument stehen. Dann kam in unserem gewählten tool:

die Antwort, dass es nur Fragen zum Dokument beantworten kann. Wenn Fragen gestellt werden, die über den Rahmen des Dokuments hinausgehen oder nicht direkt damit zusammenhängen, kann das Tool entweder keine Antwort geben oder in einigen Fällen sogar irreführende oder falsche Informationen liefern, ein Phänomen, das als „Halluzination“ bezeichnet wird.

Diese Begrenzung ist besonders relevant, wenn Nutzer Fragen zu Themen stellen, die ähnlich, aber nicht im Dokument behandelt werden, wie beispielsweise andere Arten von Versicherungen in einem Dokument über eine bestimmte Versicherungsart. In solchen Fällen könnte das Tool Antworten generieren, die auf Vermutungen oder ungenauen Annahmen basieren, was zu Missverständnissen oder Fehlinformationen führen kann.

Eine Empfehlung, um diese Herausforderung zu bewältigen, ist die Überprüfung der Quelle, auf die sich die Antwort bezieht. Wenn das Tool auf einen bestimmten Abschnitt im Dokument hinweist, wie im Beispiel Abschnitt 15, sollte dieser Abschnitt genau überprüft werden, um sicherzustellen, dass die Antwort tatsächlich relevant und korrekt ist. Dies erfordert eine kritische Bewertung der vom Tool bereitgestellten Informationen und ein Verständnis dafür, dass automatisierte Systeme Grenzen haben und nicht immer vollständige oder korrekte Antworten liefern können, insbesondere wenn es um komplexe oder nuancierte Fragen geht.

Zukunftsausblick

Die Zukunft der Sprachmodelle sieht vielversprechend aus. Mit fortschreitenden Technologien werden diese Modelle immer genauer und vielseitiger. Sprachmodelle sind mehr als nur eine technologische Neuerung, sie sind ein Werkzeug, das, wenn es verantwortungsbewusst eingesetzt wird, das Potenzial hat, unseren Alltag auf positive Weise zu verändern. Von der Verbesserung der Kommunikation bis hin zur Unterstützung bei komplexen Aufgaben: Der Weg von Text zu Taten wird durch den Einsatz von Sprachmodellen immer klarer und erreichbarer.