Kurs
digicode: AI510
Serving Models at Scale with Red Hat AI Enterprise
Kurs-Facts
Als PDF herunterladenDas Deployment von KI-Modellen in Unternehmensumgebungen erfordert mehr als einen funktionsfähigen Prototyp. Unternehmen müssen Bereitstellungs-Runtimes bewerten, Modelle für die Produktionshardware optimieren, die Inferenz in grossem Umfang verwalten und die bereitgestellten Modelle überwachen, um Performance und Zuverlässigkeit aufrechtzuerhalten.
Im Kurs Serving Models at Scale with Red Hat AI Enterprise (AI510) lernst du, wie du KI-Modelle mithilfe von Red Hat OpenShift AI unternehmensweit bereitstellen, einsetzen und verwalten kannst. Die sammelst praktische Erlebnisse mit dem KI-Fabrik-Framework, der Modellbereitstellung mit vLLM und KServe, den NVIDIA NIM-Microservices, der verteilten Inferenz mit llm-d, der Workload-Planung mit Kueue und der Überwachung von Produktionsmodellen.
Ergebnisse für das Unternehmen
Unternehmen fällt es schwer, KI-Modelle in grossem Umfang von der Testphase in den Produktivbetrieb zu überführen. Dies führt zu einer verzögerten Wertschöpfung und zu einer unzureichenden Auslastung der Infrastrukturinvestitionen. Mit diesem Kurs können Teams KI-Modelle effizient auf Red Hat AI bereitstellen, optimieren und ausführen, um die Lücke zwischen dem Prototyp und der Produktion zu verringern und eine zuverlässige, kostengünstige Modellbereitstellung im gesamten Unternehmen zu ermöglichen.
Ergebnisse für Teilnehmende
Nach Abschluss können Teilnehmende dieses Kurses Bereitstellungs-Runtimes evaluieren sowie generative und prädiktive KI-Modelle in grossem Umfang mit vLLM, KServe und NVIDIA NIM auf Red Hat OpenShift AI optimieren und bereitstellen. Ausserdem können sie verteilte Inferenz- und Workload-Planungen konfigurieren und bereitgestellte Modelle in der Produktion überwachen.
KI-Platform Engineers, ML-Operations-Teams und Infrastrukturadministrationsteams, die für das Deployment, die Bereitstellung und Verwaltung von KI-Modellen in grossem Umfang auf Red Hat OpenShift AI verantwortlich sind.
- Vertrautheit mit den Konzepten von Red Hat OpenShift
- Grundlegendes Verständnis von Large Language Models, KI/ML-Konzepten und Modellbereitstellung
Die folgenden Kurse oder gleichwertige Kenntnisse werden vorausgesetzt: