ChatGPT demystifiziert

Wie gelingt es ChatGPT, so menschenähnliche Konversationen zu führen? Wir erklären, wie Daten und Algorithmen zusammenspielen, um dieses beeindruckende Ergebnis zu erzielen.

Ein Blick unter die Haube

Der Hammer zum Start: Wir wissen nicht ganz genau wie ChatGPT funktioniert. OpenAI hat bis jetzt keine wissenschaftliche Publikation dazu veröffentlicht. In den FAQs steht lediglich folgendes:

ChatGPT is fine-tuned from GPT-3.5, a language model trained to produce text. ChatGPT was optimized for dialogue by using Reinforcement Learning with Human Feedback (RLHF) – a method that uses human demonstrations and preference comparisons to guide the model toward desired behavior.

https://help.openai.com/en/articles/6783457-what-is-chatgpt

Einfach übersetzt: ChatGPT basiert auf GPT-3.5. Dieses Sprachmodell wurde darauf trainiert, Text zu erzeugen. ChatGPT wurde auf das Führen von Dialogen optimiert. Dies geschah durch Reinforcement Learning mit menschlichem Feedback.

Was dies bedeutet erläutern wir nachfolgend.

Wie funktioniert ein Sprachmodell?

Ein Sprachmodell lernt statistische Beziehungen zwischen Wörtern und Sätzen. Anhand dieser berechnet es für einen Eingabetext das nächste Wort. So generiert das Modell Schritt für Schritt einen ganzen Text.

Ein Beispiel:

Bei einem klassischen Machine Learning Ansatz würde man für einen Korpus (z.B. alle Texte von Wikipedia) in einer Tabelle die Wahrscheinlichkeiten für das nächste Wort gegeben einem bestimmten Input berechnen.

Beispiel:

Schnell wird klar, dass die Grösse dieser Tabelle explodiert sobald der Eingabetext länger wird.

Dieses Problem lösen neuronale Netze, da sie es schaffen diese Information viel effizienter zu speichern. Um die Spezialitäten der Sprache in neuronalen Netzen abzubilden (im speziellen die Erinnerung an bereits ausgesprochene Wörter) wurden verschiedenste Ansätze ausprobiert. Der Durchbruch gelang mit der sogenannten Transformer-Architektur, die Google im Jahr 2017 vorstellte (Attention Is All You Need).

History of GPT

OpenAI präsentierte das erste GPT Modell (GPT-1) 2018. Es enthält 117 Millionen Parameter. Die zweiter Version GPT-2 folgte 2019 mit 1.5 Milliarden Parametern. 2020 präsentierte OpenAI dann, das bis dahin grösste Model GPT-3, das sage und schreibe 175 Milliarden Parameter enthält.
Die aktuellste Version, GPT-4, wurde am 14. März 2023 veröffentlicht. Es ist in begrenzter Form über ChatGPT Plus öffentlich zugänglich. Anders als ChatGPT akzeptiert GPT-4 nicht nur Text, sondern auch Bilder als Eingabe.

ChatGPT basiert auf GPT-3.5. Dies ist eine kleinere Version von GPT-3.

Es wird sichtbar, dass sich die Anzahl Optimierungsparameter stetig vergrössert hat. Weiter zeigt sich, dass ChatGPT nicht etwas komplett neues ist. Die grundlegende Technologie dahinter kennen wir seit 2017.

Trotzdem: Es hat auch uns verblüfft, wie gut die Technologie funktioniert. Niemand hatte bisher ein Gefühl für die Leistung eines solchen Modells, wenn man es mit so extrem vielen Daten trainiert.

Wie trainiert man ChatGPT?

ChatGPT wurde in mehreren Stufen trainiert. Der Prozess ähnelt dabei etwas unserem Schulsystem. Als erstes ist eine Grundausbildung (Pre-Training) notwendig. Danach besucht das Modell ein spezifisches Studium (Fine-Tuning). Für ChatGPT war dann sogar noch eine dritte Stufe notwendig, aber dazu gleich mehr.

Für das Pre-Training wird ein riesiger Korpus von Text aus dem Internet gesammelt. All diese Texte werden in Sätze aufgeteilt. Jeder einzelne Satz wird dann an einem zufälligen Ort abgeschnitten. Diese Teilsätze bilden die Basis für das Training. Das Modell hat die Aufgabe, anhand des Teilsatzes das nächste (abgeschnittene) Wort erraten. Das Resultat, dieses Trainings ist ein Modell, welches ein sehr gutes (statistisches) Verständnis von kontextabhängigen Textstrukturen hat.

Dieses Training ist extrem daten- und rechenintensiv. Laut Lambdalabs kostet das Training für GPT-3 rund 4’600’000 Dollar.
Glücklicherweise, ist das Pre-Training ein einmaliger Schritt und muss nicht für jeden neuen Anwendungsfall wiederholt werden.

Damit das generelle Sprachmodell gut Dialoge führen kann, muss es diese spezielle Form der Sprache lernen. Dazu diente das sogenannte Fine tuning. Für ChatGPT wurden aus einem Korpus zufällige Frage aus einem Korpus ausgewählt. Diese wurden von Menschen beantwortet. Basierend auf diesen Daten sollte ChatGPT so ähnlich wie möglich beantworten. Das Problem dieses Ansatzes ist die Skalierung. Es können schlicht nicht genug Trainingsdaten generiert werden.

Die Lösung auf dieses Problem lautet Reinforcement Learning.
Dazu hat OpenAI wiederum zufällige Fragen aus einem Katalog gezogen. ChatGPT musste auf jede dieser Fragen 4 Antworten geben.
Diese Antworten haben dann Personen nach deren Qualität von 1 bis 4 eingeordnet.
Diese Sortierung wurde genutzt um ein zweites Modell zu trainieren. Dieses neue Modell lernte die Qualität einer Antwort auf eine Frage zu bestimmen. Sprich es spuckt zu jedem Frage/Antwort Paar eine Zahl zwischen 1 und 4 aus.

ChatGPT konnte nun mit diesem zweiten Modell trainiert werden, ohne dass Personen weitere Fragen bewerten mussten.

Das möchten wir dir mitgeben

Unsere Kundschaft und auch unser privates Umfeld ist verblüfft über die Fähigkeiten von ChatGPT. Es macht Spass und sorgt für Begeisterung. Wir möchten dir folgende Punkte auf deinen Weg mit ChatGPT mitgeben.

• ChatGPT hat eine unvorstellbare grosse Datengrundlage.
• ChatGPT ist extrem gut darin, bekannte Muster und Strukturen auf deinen Anwendungsfall anzuwenden.
• Umso mehr Informationen du ChatGPT gibst, desto besser wirst du verstanden. ChatGPT kann nicht in deinen Kopf schauen.
• ChatGPT ist stark in der Verarbeitung einer grossen Menge an Kontext-Informationen. Das ist nämlich genau ein Vorteil der unterliegenden Transformer-Modelle.
• ChatGPT ist nicht die Google Suche. Die Datengrundlage stammt aus dem Jahr 2021.
• ChatGPT gehen deine Geheimnisse nichts an. Es ist keine gute Idee, Passwörter, sensible Geschäftsdaten oder Geheimnisse mit ChatGPT zu teilen.
• Habe Spass! Teste die Möglichkeiten und Grenzen von ChatGPT aus.

Fazit

Wir haben nun alle, von OpenAI genannten, Aspekte der Frage „Wie funktioniert ChatGPT“ beleuchtet.

Es wurde aufgezeigt was ein Sprachmodell ist und wie sich GPT-3.5 in die Historie der Transformermodelle einordnet. Weiter haben wir beschrieben, was fine-tuning ist, wie ChatGPT für Dialoge optimiert wurde und wie bei diesem Prozess Reinforcement Learning und menschliches Feedback eine entscheidende Rolle gespielt haben.

Hast du Fragen zu ChatGPT oder möchtest du wissen wie und wo du diese Technologie bei dir einsetzen kannst? Wir helfen dir gerne weiter.