Natural Language Processing: Wie verstehen Maschinen unsere Sprache?
«Gemini, was ist in Zürich sehenswert?» Dass Computer uns auf diese Frage antworten, ist heute fast selbstverständlich – aber technisch schwierig. Denn Sprache ist so komplex, dass KI sie nur dank Natural Language Processing verstehen kann. So funktioniert’s.
Intelligenz hat der Mensch nicht für sich allein gepachtet, auch andere Lebewesen kommunizieren, lernen, erinnern sich und lösen Probleme. Was den Menschen jedoch einzigartig macht, ist seine Sprache: Sie bildet die Grundlage für unsere Kultur und unsere soziale Interaktion. Auch mit Computersystemen wollen wir heute so kommunizieren, weil es die Interaktion deutlich einfacher macht. Hier kommt Künstliche Intelligenz, genauer gesagt Natural Language Processing, ins Spiel.
Warum ist es für Computer schwierig, Sprache zu knacken?
Die menschliche Sprache ist ein komplexes System aus frei erschaffenen Symbolen, jeder Menge Subtext und emotionalen Nuancen. Wichtig ist, in welchem Zusammenhang etwas gesagt wurde, sprich: Context is king. Aus dem Kontext gerissen oder mit anderer Emotionalität gesagt, können dieselben Sätze eine ganz andere Bedeutung haben. Computer können Mehrdeutigkeiten und Subtilität aber nicht erfassen.
Natural Language Processing verstehen:
Was ist NLP?
Natural Language Processing (NLP), im Deutschen als Computerlinguistik bezeichnet, ist ein Bereich der Künstlichen Intelligenz (KI). Es nutzt Machine Learning, um Sprache zu erkennen, zu verarbeiten und zu erzeugen. So können wir mit Computern ähnlich wie mit Menschen kommunizieren.
NLP beinhaltet zwei Unterkategorien:
- Natural Language Understanding: Verstehen von Sprache, befasst sich mit dem reinen Verständnis von Sprache durch Maschinen
- Natural Language Generation: Erzeugen von Sprache, Systeme generieren Text
Wie funktioniert NLP?
Für die Sprachverarbeitung kombiniert NLP verschiedene Verfahren und erfüllt unterschiedliche Aufgaben. Folgende Schritte sind nötig:
- Daten bereitstellen
- Daten vorbereiten
- Text analysieren
- Text anreichern
Eine der Kernkomponenten von NLP ist die Tokenisierung. Einfach erklärt bedeutet dies, dass Text in verarbeitbare Teile, sogenannte Tokens, zerlegt wird. Die einzelnen Tokens bleiben im Kontext der Sätze, damit der Zusammenhang erhalten bleibt. Sie werden in lexikalische Klassen geordnet (lexikalische Analyse), anschliessend wird die Satzstruktur ermittelt (syntaktische Analyse), zuletzt wird die Bedeutung festgestellt (semantische Analyse).
Weitere Aufgaben des NLP sind:
- Part of Speech-Tagging: Wörter und Textstücke je nach Verwendung richtig bestimmen und verstehen
- Named Entity Recognition: Wörter und Textbausteine in unterschiedlichen Kontexten erkennen
- Dependency Parsing: Beziehungen zwischen Wörter anhand von Grammatikregeln erkennen
- Sentiment-Analyse: Einstellungen, Emotionen und Präferenzen in Textpassagen erkennen und deuten
- Lemmatisierung: Verschiedene Formen eines Wortes erkennen und Abwandlungen zur Grundform normalisieren
So werden Wörter zu Koordinaten im Raum
Eine der wichtigsten Techniken in der Textanalyse und Sprachverarbeitung ist das Embedding, zu Deutsch Wort-Einbettung.
Beim Embedding wird ein hochdimensionaler Raum, ein Einbettungsraum, erstellt. Jedem Wort eines Textes wird ein sogenannter Dichtevektor aus reellen Zahlen – die meisten Einträge sind ungleich null – zugewiesen.
Anhand dieser Vektoren können Maschinen Beziehungen zwischen Wörter erkennen und Vorhersagen treffen. Denn Wörter, die ähnliche Bedeutungen haben oder in einem ähnlichen Kontext stehen, erhalten auch ähnliche Dichtevektoren. «Meer» und «See» sind sich dann ähnlicher als «Meer» und «mehr».
Die Evolution der Sprachmodelle: Von einfachen Regeln zu modernen LLMs
Die grossen Sprachmodelle – Large Language Models (LLMs) – wie wir sie heute von ChatGPT und Co kennen, wurden nicht plötzlich aus dem Boden gestanzt, sondern sie haben eine lange Entwicklung hinter sich.
Grundlagen für NLP
Zurück geht die digitale Kommunikation und Informationstechnologie auf den amerikanischen Mathematiker Claude Shannon. Er beschrieb 1948 in seiner Arbeit «A Mathematical Theory of Communication» die Idee, Information als messbare Grösse zu betrachten.
Es folgten die ersten statistischen Sprachmodelle, die Wörter und Wortpaare nach ihren Häufigkeiten analysierten. Kontext und Semantik konnten sie jedoch kaum erfassen.
Durchbruch dank Machine Learning
Erst ab den 2010er-Jahren erlebten die Sprachmodelle mit der Entwicklung von neuronalen Netzen und Machine Learning ihren Durchbruch. Der nächste Meilenstein war die Transformer-Architektur, die 2017 von Ashish Vaswani beschrieben wurde. Sie ermöglicht es, lange Textsequenzen zu verarbeiten. So entwickelte sich das grosse Sprachmodell Generative Pretained Transformer (GPT), auf dem auch ChatGPT basiert.
Retrival-Augmented Generation (RAG) baut nun auf den LLMs auf. Es kombiniert die Leistungsfähigkeit der Sprachmodelle mit externen Wissensquellen. So hilft RAG der KI auf aktuelles Wissen zuzugreifen, ohne neu trainiert zu werden.
Wichtig im Zusammenhang mit NLP ist heute auch Python, sie gilt sogar als eine der wichtigsten Programmiersprachen der Moderne. Denn mit Python lassen sich klassische Automatisierung und Machine Learning miteinander verbinden.Das eröffnet uns viele neue Wege.
NLP im Business-Einsatz: 4 Praxis-Beispiele
Für Unternehmen sind eine Reihe von NLP-Anwendungen interessant, mit denen sich bestimmte Prozesse optimieren und sogar manuelle Tätigkeiten ersetzen lassen.
1. Sentiment-Analyse
Mit der Sentiment-Analyse kann der emotionale Ton eines Textes – neutral, positiv, negativ – ermittelt werden. So lassen sich unstrukturierte Daten zum Beispiel aus Bewertungen, Social-Media-Beiträgen oder Support-Tickets kategorisieren und ein Überblick über Meinungen der Kundschaft gewinnen.
2. Chatbots
Chatbots können die erste Interaktion mit Kundinnen und Kunden übernehmen. Mitarbeitende müssen dann nur eingreifen, wenn der Bot nicht weiterkommt.
3. Automatische Zusammenfassung
Die Flut an Informationen ist riesig, wer sich schnell einen Überblick verschaffen möchte ist oft überfordert. Hier schafft NLP Abhilfe, indem es Texte auf das Wesentliche zusammenfasst.
4. Übersetzung
NLP kann auch für das Übersetzen von Texten genutzt werden. Vorsicht jedoch bei Nischenwissen mit besonderem Vokabular: Hier können die Ergebnisse ungenau sein.
Die Grenzen von NLP-Modellen: Halluzination & Bias
Natural Language Processing stösst, wie KI und LLMs auch, an Grenzen. Die grösste Schwierigkeit von NLP ist schlichtweg, die mehrdeutige Sprache von Menschen immer richtig zu verstehen. Je nach Kontext hat zum Beispiel das Wort «Bank» eine völlig andere Bedeutung. NLP-Modelle nützen aber nur, wenn sie die Anwendenden nicht ständig falsch verstehen.
Auch ethische Risiken setzen NLP Grenzen. Die Modelle liefern im Grunde auf jede Frage eine Antwort, die meist plausibel, aber nicht immer wahr ist. Solche Halluzinationen können ein grosses Problem darstellen. Anwendende sollten die KI-Antworten deshalb immer gegenchecken.
Zudem sind NLP-Modelle nicht neutral und wertfrei. Die Modelle übernehmen Stereotypen und Weltanschauungen aus den Trainingsdaten. Sie sind dann voreingenommen, können diskriminierend sein und Inhalte verzerren. Wir sprechen hier von Bias. Darüber müssen sich Anwendende stets bewsst sein.