Erkunden Sie die transformative Wirkung großer multimodaler Modelle (LMMs) wie CLIP und Flamingo, die verschiedene Datenmodalitäten wie Text und Bilder verarbeiten und generieren können. Entdecken Sie hochmoderne Forschungsrichtungen, darunter die Einbeziehung neuer Modalitäten, die Verbesserung der Trainingseffizienz und die Generierung multimodaler Ergebnisse, mit dem Potenzial, Branchen zu revolutionieren und die Interaktion der Nutzer mit KI zu verändern.
Hintergrund
Lange Zeit arbeiteten maschinelle Lernmodelle in einem einzigen Datenmodus: Text für Übersetzung und Sprachmodellierung, Bild für Objekterkennung und Klassifikation, Audio für Spracherkennung. Doch menschliche Intelligenz beschränkt sich nicht nur auf eine Modalität. Wir lesen und schreiben Texte, interpretieren Bilder und Videos, hören Musik zur Entspannung und verlassen uns auf Geräusche, um Gefahren zu erkennen. Um in der realen Welt effektiv zu funktionieren, muss KI auch multimodale Daten verarbeiten können.
OpenAI hat dies erkannt und die Bedeutung der Einbeziehung zusätzlicher Modalitäten wie Bilder in große Sprachmodelle (LLMs) hervorgehoben, was eine entscheidende Grenze in der KI-Forschung und -Entwicklung markiert. Diese Integration zusätzlicher Modalitäten verwandelt LLMs in große multimodale Modelle (LMMs). Im letzten Jahr haben große Forschungslabore eine Flut neuer LMMs vorgestellt, wie DeepMinds Flamingo, Salesforces BLIP, Microsofts KOSMOS-1, Googles PaLM-E und Tencent’s Macaw-LLM. Sogar Chatbots wie ChatGPT und Gemini fallen in die Kategorie der LMMs.
Allerdings sind nicht alle multimodalen Systeme LMMs. Modelle wie Midjourney, Stable Diffusion und DALL-E können mehrere Modalitäten verarbeiten, ihnen fehlt jedoch eine Sprachmodellkomponente. Multimodale Systeme können verschiedene Szenarien umfassen: bei denen Eingabe und Ausgabe unterschiedlicher Modalitäten sind (z. B. Text-zu-Bild, Bild-zu-Text), bei denen die Eingaben multimodal sind (z. B. Verarbeitung von Text und Bildern) oder bei denen die Ausgaben multimodal sind (z. B. Generierung sowohl von Text als auch von Bildern).
Was ist multimodal?
Multimodal kann eines oder mehrere der folgenden bedeuten:
- Eingabe und Ausgabe sind unterschiedlicher Modalitäten (z. B. Text-zu-Bild, Bild-zu-Text)
- Eingaben sind multimodal (z. B. ein System, das sowohl Text als auch Bilder verarbeiten kann)
- Ausgaben sind multimodal (z. B. ein System, das sowohl Text als auch Bilder generieren kann)
Warum multimodal?
Multimodalität ist in zahlreichen Anwendungsfällen unverzichtbar, insbesondere in Branchen, die mit einer Mischung von Datenmodalitäten umgehen, darunter Gesundheitswesen, Robotik, E-Commerce, Einzelhandel, Gaming und mehr.
Tatsächlich kann die Integration von Daten aus mehreren Modalitäten die Modellleistung erheblich verbessern. Es ist einleuchtend, dass ein Modell, das sowohl aus Text als auch aus Bildern lernen kann, besser abschneidet als eines, das auf nur eine Modalität beschränkt ist.
Multimodale Systeme bieten eine anpassungsfähigere Schnittstelle, die es Benutzern ermöglicht, je nach Vorlieben oder Umständen auf verschiedene Weise mit ihnen zu interagieren. Stellen Sie sich vor, Sie könnten eine Frage stellen, indem Sie tippen, sprechen oder einfach eine Kamera auf ein Objekt richten.
Datenmodalitäten
Zu den verschiedenen Datenmodalitäten gehören Text, Bild, Audio, tabellarische Daten und mehr. Jede Modalität kann in eine andere Form übersetzt oder angenähert werden:
- Audio kann als Bild dargestellt werden, z. B. als Mel-Spektrogramm.
- Sprache kann in Text transkribiert werden, wobei jedoch Nuancen wie Lautstärke, Intonation und Pausen verloren gehen können.
- Ein Bild kann in einen Vektor umgewandelt werden, der dann abgeflacht und als Sequenz von Text-Token dargestellt werden kann.
- Videos bestehen aus Bildsequenzen, die mit Audio kombiniert sind. Aktuelle ML-Modelle behandeln Videos jedoch typischerweise nur als Bildsequenzen und übersehen die Bedeutung des Tons. Diese Einschränkung ist bemerkenswert, da Ton wesentlich zum Videoerlebnis beiträgt – 88 % der TikTok-Nutzer betonen dessen Wichtigkeit.
- Text kann als Bild erfasst werden, indem man einfach ein Foto davon macht.
- Datentabellen können in Diagramme umgewandelt werden, die im Wesentlichen Bilder sind.
Hier sind die verschiedenen Modalitäten von novita.ai:
novita.ai ist eine All-in-One-Plattform für grenzenlose Kreativität, die Ihnen Zugang zu über 100 APIs bietet. Von Bildgenerierung und Sprachverarbeitung bis hin zur Audioverbesserung und Videobearbeitung – günstig nach Verbrauch, befreit Sie von GPU-Wartungsaufwänden beim Aufbau eigener Produkte. Testen Sie es kostenlos.
Aufgaben der Multimodalität
Um multimodale Systeme zu verstehen, ist es aufschlussreich, die Aufgaben zu betrachten, die sie lösen. Diese Aufgaben variieren stark, und ihre Organisation kann viele Formen annehmen. In der Literatur werden Sprach-Bild-Aufgaben oft in zwei Hauptgruppen eingeteilt: Generierung und Sprach-Bild-Verständnis (Vision-Language Understanding, VLU), das Aufgaben umfasst, die keine Generierung beinhalten. Es ist jedoch erwähnenswert, dass die Unterscheidung zwischen diesen Gruppen etwas unscharf ist, da die Fähigkeit, Antworten zu generieren, inhärent auch Verständnis beinhaltet.
Generierung
Bei generativen Aufgaben kann die Ausgabe unimodal (wie Text, Bild oder 3D-Rendering) oder multimodal sein. Während unimodale Ausgaben in aktuellen Modellen vorherrschen, ist die Entwicklung multimodaler Ausgaben noch im Gange. Wir werden gegen Ende dieses Beitrags auf multimodale Ausgaben eingehen.
Bildgenerierung (Text-zu-Bild-Synthese)
Diese Aufgabenkategorie ist unkompliziert. Beispiele: Dall-E, Stable Diffusion und Midjourney.
Textgenerierung
Eine verbreitete Aufgabe bei der Textgenerierung ist das visuelle Frage-Antwort (Visual Question Answering, VQA), bei dem dem Modell sowohl Text als auch Bilder zur Kontextableitung bereitgestellt werden. Dies ermöglicht Szenarien, in denen Benutzer ihre Kameras verwenden können, um Fragen zu stellen wie: „Was ist mit meinem Auto los?“ oder „Wie bereite ich dieses Gericht zu?“
Ähnlich ist die Bildbeschriftung (Image Captioning) eine weitere gängige Anwendung. Sie kann in textbasierte Bildabrufsysteme integriert werden, die von Organisationen mit umfangreichen Bildbibliotheken genutzt werden, die Produktbilder, Grafiken, Designs, Teamfotos, Werbematerialien und mehr umfassen. Durch die automatische Generierung von Bildunterschriften und Metadaten vereinfacht KI die Lokalisierung bestimmter Bilder in diesen Sammlungen.
Sprach-Bild-Verständnis
Konzentrieren wir uns auf zwei Arten von Aufgaben: Klassifikation und textbasierter Bildabruf (Text-Based Image Retrieval, TBIR).
Klassifikation
Klassifikationsmodelle sind darauf beschränkt, Ausgaben zu produzieren, die in eine vordefinierte Liste von Klassen fallen. Dies ist geeignet, wenn das Ziel darin besteht, zwischen einer festgelegten Anzahl möglicher Ergebnisse zu unterscheiden. Beispielsweise besteht die Aufgabe in einem optischen Zeichenerkennungssystem (OCR) einfach darin, vorherzusagen, ob eine visuelle Darstellung einem der erkannten Zeichen (z. B. einer Ziffer oder einem Buchstaben) entspricht.
Eine eng mit der Klassifikation verwandte Aufgabe ist der Bild-zu-Text-Abruf: Gegeben ein Bild und eine Reihe vordefinierter Texte, besteht das Ziel darin, den Text zu identifizieren, der am wahrscheinlichsten mit dem Bild korrespondiert. Diese Anwendung kann besonders nützlich für die Suche nach Produktbildern sein, z. B. das Abrufen von Produktbewertungen basierend auf einem gegebenen Bild.
Dokumentenverarbeitung mit GPT-4V. Der Fehler des Modells ist rot hervorgehoben.
Textbasierter Bildabruf (Bildersuche)
Die Bildersuche ist nicht nur für Suchmaschinen von Bedeutung, sondern auch für Unternehmen, die ihre internen Bilder und Dokumente durchsuchen möchten. Einige bezeichnen den textbasierten Bildabruf als „Text-zu-Bild-Abruf“.
Es gibt verschiedene Ansätze für den textbasierten Bildabruf. Zwei bemerkenswerte Methoden sind:
- Generierung von Bildunterschriften und Metadaten für jedes Bild, entweder manuell oder automatisch (wie beim Image Captioning in der Textgenerierung). Bei einer Textabfrage besteht das Ziel darin, Bilder zu identifizieren, deren Bildunterschriften oder Metadaten der Abfrage am besten entsprechen.
- Training eines gemeinsamen Einbettungsraums für sowohl Bilder als auch Text. Bei diesem Ansatz erzeugt eine Textabfrage eine Einbettung, und das Ziel besteht darin, Bilder zu lokalisieren, deren Einbettungen denen der Abfrage am ähnlichsten sind.
Der letztgenannte Ansatz bietet mehr Flexibilität und wird voraussichtlich breiter eingesetzt. Er beruht auf der Schaffung eines robusten gemeinsamen Einbettungsraums für sowohl visuelle als auch sprachliche Daten, ähnlich dem von OpenAIs CLIP entwickelten.
Schlüsselkomponente des multimodalen Trainings
Auf einer allgemeinen Ebene besteht ein multimodales System aus folgenden Komponenten:
- Encoder für jede Datenmodalität, die für die Erzeugung modalspezifischer Einbettungen zuständig sind.
- Mechanismen zur Angleichung von Einbettungen aus verschiedenen Modalitäten in einem einheitlichen multimodalen Einbettungsraum.
- Für generative Modelle ist ein Sprachmodell erforderlich, um Textantworten zu generieren. Da Eingaben sowohl Text als auch visuelle Elemente umfassen können, sind innovative Techniken erforderlich, um es dem Sprachmodell zu ermöglichen, seine Antworten nicht nur auf Text, sondern auch auf visuelle Elemente zu stützen.
Idealerweise sollten möglichst viele dieser Komponenten vortrainiert und wiederverwendbar sein, um Effizienz und Vielseitigkeit zu steigern.
Einführung in bestehende multimodale Systeme
Die Auswahl, auf welche multimodalen Systeme ich mich in diesem Beitrag konzentrieren sollte, war eine Herausforderung, da es eine Fülle bemerkenswerter Optionen gibt. Letztendlich habe ich mich entschieden, zwei Modelle hervorzuheben: CLIP (2021) und Flamingo (2022). Diese Wahl basierte auf ihrer Bedeutung sowie der Verfügbarkeit und Klarheit öffentlicher Informationen.
CLIP war das erste Modell, das in der Lage war, auf mehrere Bildklassifikationsaufgaben mit Zero- und Few-Shot-Learning-Techniken zu generalisieren. Während Flamingo nicht das erste große multimodale Modell war, das offene Antworten generieren konnte (Salesforces BLIP war drei Monate früher dran), führte seine beeindruckende Leistung dazu, dass viele es als den entscheidenden Moment ähnlich wie GPT-3 im multimodalen Bereich betrachten.
Obwohl es sich um ältere Modelle handelt, sind die von CLIP und Flamingo verwendeten Techniken auch heute noch relevant. Sie dienen als Grundpfeiler für das Verständnis neuerer Modelle in der sich schnell entwickelnden multimodalen Landschaft, in der ständig zahlreiche innovative Ideen entwickelt werden.
CLIP: Contrastive Language-Image Pre-training
CLIPs großer Durchbruch liegt in seiner Fähigkeit, Daten aus verschiedenen Modalitäten – Text und Bilder – in einen gemeinsamen Einbettungsraum abzubilden. Dieser gemeinsame multimodale Einbettungsraum vereinfacht Aufgaben wie Text-zu-Bild und Bild-zu-Text erheblich.
Darüber hinaus hat das Training dieses multimodalen Einbettungsraums zu einem robusten Bildencoder in CLIP geführt. Daher zeigt CLIP wettbewerbsfähige Zero-Shot-Leistungen in verschiedenen Bildklassifikationsaufgaben. Die Stärke dieses Bildencoders erstreckt sich auf andere Anwendungen, einschließlich Bildgenerierung, visuelles Frage-Antwort und textbasierter Bildabruf. Insbesondere nutzen Flamingo und LLaVA CLIP als ihren Bildencoder, während DALL-E CLIP zum Neusortieren generierter Bilder verwendet. Es ist jedoch unklar, ob GPT-4V CLIP in seine Architektur integriert.
CLIP nutzte natürliche Sprachüberwachung und kontrastive Lerntechniken, sodass das Modell seine Daten skalieren und die Trainingseffizienz steigern konnte.
CLIPs Architektur auf hoher Ebene
In CLIPs Architektur werden sowohl die Encoder als auch die Projektionsmatrizen gemeinsam von Grund auf trainiert. Das Ziel des Trainings ist es, die Ähnlichkeitswerte korrekter (Bild, Text)-Paare zu maximieren und die Ähnlichkeitswerte falscher Paarungen zu minimieren – eine Technik, die als kontrastives Lernen bekannt ist.
CLIP-Anwendungen
Klassifikation
Derzeit dient CLIP als robuste Out-of-the-Box-Baseline für zahlreiche Bildklassifikationsaufgaben, entweder in seiner ursprünglichen Form oder durch Feintuning für spezifische Anwendungen.
Textbasierter Bildabruf
Da CLIPs Trainingsprozess konzeptionelle Ähnlichkeiten sowohl mit Bild-zu-Text-Abruf als auch mit Text-zu-Bild-Abruf aufweist, ist es vielversprechend für breite Anwendungen wie Bildabruf oder -suche. Allerdings ist seine Leistung im Vergleich zum Gesamtstand der Technik bei Bildabrufaufgaben deutlich geringer.
Es wurden Anstrengungen unternommen, CLIP für den Bildabruf zu nutzen. Zum Beispiel funktioniert das clip-retrieval-Paket wie folgt:
- Generieren Sie CLIP-Einbettungen für alle Bilder und speichern Sie sie in einer Vektordatenbank.
- Generieren Sie eine CLIP-Einbettung für jede Textabfrage.
- Fragen Sie die Vektordatenbank nach allen Bildern ab, deren Einbettungen der Textabfrage-Einbettung nahe kommen.
Bildgenerierung
CLIPs gemeinsame Bild-Text-Einbettungen bieten wertvolle Unterstützung für Bildgenerierungsaufgaben. Beispielsweise nutzt DALL-E (2021) CLIP, um eine Vielzahl generierter visueller Darstellungen basierend auf einer gegebenen Textaufforderung neu zu sortieren und den Benutzern die bestbewerteten visuellen Darstellungen zu präsentieren.
Im Jahr 2022 führte OpenAI unCLIP ein, ein Text-zu-Bild-Synthesemodell, das auf CLIP-Latents konditioniert ist. Es besteht aus zwei Hauptkomponenten:
- CLIP wird trainiert und bleibt fest. Das vortrainierte CLIP-Modell kann Einbettungen sowohl für Text als auch für Bilder im selben Einbettungsraum erzeugen.
- Bei der Bildgenerierung finden zwei Schritte statt: a. Verwenden Sie CLIP, um Einbettungen für den gegebenen Text zu generieren. b. Verwenden Sie einen Diffusions-Decoder, um Bilder zu generieren, die auf diesen Einbettungen konditioniert sind.
Textgenerierung
Die Autoren von CLIP haben auch die Erstellung eines Textgenerierungsmodells untersucht. Eine Variante, mit der sie experimentierten, ist als LM RN50 bekannt. Obwohl dieses Modell Textantworten generieren konnte, lag seine Leistung bei allen bewerteten Sprach-Bild-Verständnisaufgaben durchweg etwa 10 % hinter dem leistungsstärksten CLIP-Modell zurück.
Obwohl CLIP selbst heute nicht direkt für die Textgenerierung verwendet wird, dient sein Bildencoder häufig als Grundlage für große multimodale Modelle (LMMs), die Text generieren können.
Flamingo: die Anfänge der LMMs
Im Gegensatz zu CLIP hat Flamingo die Fähigkeit, Textantworten zu produzieren. Vereinfacht ausgedrückt kann Flamingo als CLIP in Kombination mit einem Sprachmodell betrachtet werden, ergänzt um zusätzliche Techniken, die es dem Sprachmodell ermöglichen, Text-Token zu generieren, die sowohl auf visuellen als auch auf Texteingaben konditioniert sind.
Flamingo kann Textantworten generieren, die sowohl auf Text als auch auf Bilder konditioniert sind.
Flamingos Architektur auf hoher Ebene
Flamingo kann in zwei Hauptkomponenten unterteilt werden:
- Vision-Encoder: Dieser Aspekt beinhaltet das Training eines CLIP-ähnlichen Modells mittels kontrastivem Lernen. Anschließend wird der Text-Encoder des Modells verworfen, und der Vision-Encoder bleibt eingefroren, um in das Hauptmodell integriert zu werden.
- Sprachmodell: Flamingo verfeinert Chinchilla durch Feintuning, um Text-Token zu produzieren, die sowohl auf visuellen als auch auf textuellen Eingaben konditioniert sind. Dieser Prozess verwendet den Sprachmodellverlust und beinhaltet zwei zusätzliche Komponenten: den Perceiver Resampler und die GATED XATTN-DENSE-Schichten.
Datensatz
Flamingo verwendete 4 Datensätze: 2 (Bild, Text)-Paar-Datensätze, 1 (Video, Text)-Paar-Datensatz und 1 verschachtelten Bild- und Text-Datensatz.
Flamingos Sprachmodell
In Flamingo dient Chinchilla als Sprachmodell, wobei ein besonderer Fokus auf dem Einfrieren der 9 vortrainierten Chinchilla-LM-Schichten liegt. Im Gegensatz zu einem traditionellen Sprachmodell, das das nächste Text-Token nur basierend auf vorhergehenden Text-Token vorhersagt.
Flamingo erweitert dies, indem es das nächste Text-Token unter Berücksichtigung sowohl der vorhergehenden Text- als auch der visuellen Token vorhersagt. Diese Fähigkeit, Text zu generieren, der sowohl auf Text- als auch auf visuellen Eingaben konditioniert ist, wird durch die Integration des Perceiver Resampler und der GATED XATTN-DENSE-Schichten ermöglicht.
CLIP vs. Flamingo
Zukünftige Richtungen für LMMs
CLIP gibt es seit 3 Jahren, und Flamingo nähert sich seinem zweiten Jahrestag. Obwohl ihre Architekturen eine solide Grundlage für das Verständnis des Aufbaus großer multimodaler Modelle (LMMs) bieten, hat es in diesem Bereich zahlreiche Fortschritte gegeben.
Mehrere Richtungen im multimodalen Bereich finde ich besonders faszinierend, obwohl diese Liste keineswegs vollständig ist. Die Länge dieses Beitrags und meine anhaltende Erkundung des Themas tragen zu seiner Unvollständigkeit bei. Wenn Sie Einblicke oder Empfehlungen haben, wäre ich sehr dankbar!
Einbeziehung weiterer Datenmodalitäten
Im Bereich der multimodalen Systeme liegt der Schwerpunkt derzeit vorwiegend auf Text und Bildern. Es ist jedoch nur eine Frage der Zeit, bis Systeme benötigt werden, die andere Modalitäten wie Videos, Musik und 3D-Daten integrieren können. Die Aussicht auf einen einheitlichen Einbettungsraum, der alle Datenmodalitäten aufnimmt, ist in der Tat aufregend.
Einige bemerkenswerte Arbeiten in diesem Bereich umfassen:
- ULIP: Learning a Unified Representation of Language, Images, and Point Clouds for 3D Understanding (Xue et al., Dezember 2022)
- ImageBind: One Embedding Space To Bind Them All (Girdhar et al., Mai 2023)
- NExT-GPT: Any-to-Any Multimodal Large Language Model (Wu et al., September 2023)
Darüber hinaus zielt Jeff Deans ambitioniertes Pathways-Projekt (2021) darauf ab, „multimodale Modelle zu ermöglichen, die visuelle, auditive und sprachliche Verständnisfähigkeiten gleichzeitig umfassen“.
Training effizienterer multimodaler Modelle
Während Flamingo 9 vortrainierte und eingefrorene Schichten von Chinchilla verwendete, erforderte es das Training seines Vision-Encoders, Perceiver Resampler und der GATED XATTN-DENSE-Schichten von Grund auf. Das Training dieser Module von Grund auf kann rechenintensiv sein. Daher konzentrieren sich viele neuere Arbeiten auf die Entwicklung effizienterer Methoden, um multimodale Systeme mit reduziertem Training von Grund auf zu booten.
Einige dieser Arbeiten zeigen vielversprechende Ergebnisse. Beispielsweise übertraf BLIP-2 Flamingo-80B um 8,7 % bei Zero-Shot VQA-v2 mit 54-mal weniger trainierbaren Parametern.
Bemerkenswerte Arbeiten in diesem Bereich umfassen:
- BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
- [LAVIN] Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models
- LLaMA-Adapter V2: Parameter-Efficient Visual Instruction Model
Die folgenden Bilder stammen aus Chunyuan Lis Tutorial „Large Multimodal Models“ auf der CVPR 2023, das aufgrund seiner umfassenden Abdeckung des Themas sehr zu empfehlen ist.
Generierung multimodaler Ausgaben
Während Modelle, die multimodale Eingaben verarbeiten können, immer häufiger werden, hinkt die Entwicklung multimodaler Ausgabefähigkeiten noch hinterher. Viele praktische Szenarien erfordern multimodale Ausgaben. Wenn Sie ChatGPT beispielsweise um eine Erklärung zu RLHF bitten, könnte eine effektive Antwort die Einbeziehung von Grafiken, Gleichungen und sogar grundlegenden Animationen beinhalten.
Um multimodale Ausgaben zu generieren, muss ein Modell zunächst eine gemeinsame Zwischenausgabe erzeugen. Eine entscheidende Überlegung ist die Art dieser Zwischenausgabe.
Ein Ansatz für die Zwischenausgabe ist Text, der anschließend die Generierung oder Synthese anderer Aktionen leitet.
Beispielsweise erzeugt CM3 (Aghajanyan et al., 2022) HTML-Markup, das zu Webseiten kompiliert werden kann, die nicht nur Text, sondern auch Formatierung, Links und Bilder enthalten. GPT-4V generiert LaTeX-Code, der dann in Datentabellen rekonstruiert werden kann.
Fazit
Die Entwicklung von einzelmodalen zu multimodalen KI-Systemen markiert einen bedeutenden Fortschritt in der Forschung und Entwicklung künstlicher Intelligenz. Modelle wie CLIP und Flamingo haben den Weg für große multimodale Modelle (LMMs) geebnet, die verschiedene Datenmodalitäten wie Text, Bilder und mehr verarbeiten und generieren können. Während das Feld weiter voranschreitet, erforschen Forscher neue Grenzen, darunter die Einbeziehung zusätzlicher Modalitäten wie Videos und 3D-Daten, die Verbesserung der Trainingseffizienz und die Entwicklung von Methoden zur Generierung multimodaler Ausgaben. Diese Fortschritte versprechen enorm, Branchen zu revolutionieren und die Interaktion der Nutzer mit KI-Systemen zu verbessern.
novita.ai, die All-in-One-Plattform für grenzenlose Kreativität, die Ihnen Zugang zu über 100 APIs bietet. Von Bildgenerierung und Sprachverarbeitung bis hin zur Audioverbesserung und Videobearbeitung – günstig nach Verbrauch, befreit Sie von GPU-Wartungsaufwänden beim Aufbau eigener Produkte. Testen Sie es kostenlos.
Empfohlene Lektüre
Novita AI LLM Inference Engine: der größte Durchsatz und günstigste Inferenz verfügbar
