Azure AI Search und RAG richtig einsetzen
Stimmt die Datenbasis, macht RAG KI-Systeme deutlich nützlicher. Ich zeige, wie Azure AI Search als Grundlage für intelligente, unternehmenseigene KI-Lösungen funktioniert und wo die echten Herausforderungen liegen.
Viele Unternehmen stellen sich heute dieselbe Frage: «Wie können wir KI nutzen, ohne unsere internen Daten in öffentliche Modelle zu schicken, über die wir keine Kontrolle haben?» Die Antwort, die ich in Projekten und Trainings immer wieder empfehle, heisst RAG: Retrieval Augmented Generation. Und das Herzstück einer solchen Lösung auf Azure ist Azure AI Search.
In diesem Artikel erkläre ich dir, wie RAG funktioniert und welche Herausforderungen du dabei nicht unterschätzen solltest. Zudem vergleiche ich den Ansatz mit dem, was SharePoint Graph Grounding bietet. Denn je nach Ausgangslage kann eine der beiden Optionen deutlich besser zu dir passen.
Was ist RAG und warum brauche ich das?
KI-Modelle wissen viel über die Welt, aber nichts über dein Unternehmen. Sie kennen nicht deinen Produktkatalog, deine internen Richtlinien oder die Verträge, die im SharePoint lagern. Genau da kommt RAG ins Spiel.
Das Prinzip ist einfach: Anstatt das Sprachmodell direkt nach einer Antwort zu fragen, holst du zuerst die relevanten Dokumente aus deiner Wissensdatenbank und gibst diese dem Modell als Kontext mit. Das Modell antwortet dann nicht aus seinem Trainingswissen, sondern auf Basis der gefundenen Inhalte. Retrieval zuerst, dann Generation.
Das klingt simpel und konzeptionell ist es das auch. Die Komplexität steckt im Detail.
Wie Azure AI Search in einem RAG-System funktioniert
Stell dir Azure AI Search wie eine sehr intelligente Bibliothekarin vor. Du gibst ihr alle deine Dokumente, sie liest sie durch, ordnet sie ein und merkt sich, worum es in jedem Abschnitt geht. Wenn jemand eine Frage stellt, weiss sie sofort, welche Seiten relevant sind und legt sie auf den Tisch. Das Sprachmodell liest diese Seiten und formuliert daraus die Antwort.
Was Azure AI Search dabei besonders macht: Es sucht nicht nur nach exakten Stichwörtern, sondern versteht auch die Bedeutung hinter einer Frage. Wenn jemand fragt «Wie lange dauert mein Urlaub?», findet es auch Dokumente, die von Ferienanspruch oder Urlaubstagen sprechen, ohne dass diese Wörter in der Frage auftauchen.
Die Herausforderungen: Was in der Praxis oft unterschätzt wird
RAG ist ein mächtiger Ansatz, aber kein Selbstläufer. In meinen Projekten sehe ich immer wieder dieselben Stolpersteine.
Datenqualität ist alles
Garbage in, garbage out. Wenn deine Dokumente veraltet oder inkonsistent sind, hilft auch die beste RAG-Pipeline nichts. Vor dem Start lohnt sich eine ehrliche Bestandsaufnahme: Welche Dokumente sollen indexiert werden, sind sie aktuell und wer ist für ihre Pflege verantwortlich? Auch das Chunking, also wie du Dokumente in Abschnitte aufteilst, beeinflusst die Qualität stark. Hier gibt es keine universelle Lösung, ein bisschen Experimentieren gehört dazu.
Governance: Die unterschätzte Herausforderung
Das ist in meinen Augen die grösste Herausforderung und sie wird am häufigsten übergangen. Bei RAG musst du sicherstellen, dass ein Nutzer nur Inhalte aus Dokumenten zurückbekommt, auf die er tatsächlich Zugriff hat. Azure AI Search bietet dafür Security Trimming mit Entra ID Gruppen-IDs, aber das bedeutet Aufwand in der Implementierung. Wer Berechtigungen nicht von Anfang an mitdenkt, baut sich ein Problem, das später schwer zu korrigieren ist.
Mein Vorgehen: Das Governance Konzept gehört vor die technische Umsetzung. Wer hat Zugriff auf welche Dokumentengruppen? Wer pflegt den Index? Diese Fragen sind keine IT-Details, sondern Business Entscheidungen.
Kosten und Komplexität
Azure AI Search ist kein gratis Dienst und die Gesamtkosten (Suchdienst, Embedding-Modelle, Sprachmodell, Storage) summieren sich schnell. Eine robuste RAG-Lösung ist kein Wochenend-Projekt. Wer das mit der richtigen Erwartungshaltung angeht, wird am Ende deutlich zufriedener sein.
Vergleich: Azure AI Search vs. SharePoint Graph Grounding
SharePoint Graph Grounding ist Microsofts Ansatz, Microsoft 365 Copilot direkt mit deinen SharePoint-Inhalten zu verknüpfen. Beide Ansätze lösen ein ähnliches Problem, aber auf grundlegend verschiedene Weise.
| Azure AI Search + RAG | SharePoint Graph Grounding | |
| Datenquellen | Flexibel: Azure Blob, SQL, SharePoint, externe APIs, eigene Connectoren | Primär Microsoft 365: SharePoint, Teams, OneDrive |
| Berechtigungen | Manuell konfiguriert via Security Trimming | Automatisch via Microsoft 365 Berechtigungen |
| Lizenzanforderung | Azure Subscription (Pay as you go) | Microsoft 365 Copilot Lizenz |
| Anpassbarkeit | Sehr hoch, vollständige Kontrolle über Index, Chunking, Retrieval | Begrenzt, Microsoft definiert die Pipeline |
| Aufwand | Hoch (Entwicklung, Wartung) | Niedrig (Out of the box) |
Wenn du ohnehin eine Copilot-Lizenz hast und deine relevanten Inhalte bereits in SharePoint liegen, ist Graph Grounding oft der schnellste und sicherste Weg. Berechtigungen werden automatisch aus Microsoft 365 übernommen, was das Governance Problem weitgehend löst.
Azure AI Search ist die richtige Wahl, wenn du Daten aus verschiedenen Quellen zusammenführen willst oder eine Lösung aufbaust, die über Microsoft 365 hinausgeht. Viele Unternehmen nutzen am Ende beide Ansätze nebeneinander.
FAQ – Häufige Fragen
Brauche ich Azure OpenAI, um Azure AI Search mit RAG zu nutzen?
Nicht zwingend. Azure AI Search ist Modell-agnostisch und lässt sich auch mit anderen Sprachmodellen oder Open-Source Modellen auf Azure kombinieren. Azure OpenAI empfehle ich aber, wenn du alles in der Azure-Sicherheitszone halten willst.
Was kostet Azure AI Search ungefähr?
Das hängt stark vom gewählten Tier ab. Der Basic Tier beginnt bei rund 80 CHF pro Monat, reicht aber für Produktionsszenarien selten aus. Standard S1 liegt bei ca. 280 CHF monatlich, ohne die Kosten für Embedding-Modelle und Sprachmodell. Eine ehrliche Kostenschätzung gehört vor den Start jedes Projekts.
Kann ich Azure AI Search mit meinen bestehenden SharePoint Inhalten nutzen?
Ja, Azure AI Search hat einen nativen SharePoint-Connector. Du kannst damit SharePoint Bibliotheken indexieren und in einer RAG-Pipeline verwenden. Die Berechtigungssteuerung musst du aber selbst konfigurieren, anders als bei SharePoint Graph Grounding.
Fazit: RAG ist mächtig, aber kein Selbstläufer
Azure AI Search gibt dir alle Werkzeuge, um eine skalierbare und qualitativ hochwertige RAG-Lösung zu bauen. Die Technologie ist ausgereift, und die Integration mit Azure OpenAI und anderen Microsoft Diensten ist stark. Aber der Aufwand für Governance, Datenpflege und laufenden Betrieb ist real. Wer das unterschätzt, erntet früher oder später Frust.
Wenn du im M365 Ökosystem lebst und deine Daten in SharePoint sind, ist SharePoint Graph Grounding oft der sinnvollere Einstieg. Für komplexere, heterogene Datenlandschaften oder eigene KI-Produkte ist Azure AI Search die richtige Plattform.