Die Ära der kleinen Sprachmodelle hat gerade erst begonnen. OpenAI-Mitbegründer Andrej Karpathy merkte an, dass der Wettbewerb um die Größe von LLM-Modellen intensiviert wird, jedoch rückwärts läuft. In der vergangenen Woche wurden mehrere SLMs veröffentlicht, darunter das kostengünstige GPT-4o mini-Modell von OpenAI. Ebenfalls wurde Mistral NeMo von der AI-Startup Mistral AI aus Paris in Zusammenarbeit mit NVIDIA veröffentlicht, ein Modell mit 12 Milliarden Parametern.
Darüber hinaus hat Hugging Face eine neue Serie kompakter Sprachmodelle namens SmolLM in drei Größen veröffentlicht. Diese Modelle sind ideal für die Verwendung auf lokalen Geräten wie Laptops und Smartphones und reduzieren den Bedarf an Cloud-Ressourcen erheblich. Ebenso hat H2O.ai die H2O-Danube3-Serie von SLMs eingeführt, um KI-Fähigkeiten auf mobilen Geräten verfügbar zu machen. Diese Serie umfasst zwei Modelle: H2O-Danube3-4B und H2O-Danube3-500M.
Apple beteiligte sich ebenfalls und veröffentlichte ein 7B-Modell namens DCLM-BASELINE 7B. Alibaba in China brachte die Modelle Qwen’s Base und Instruct in fünf Größen heraus. LLMs oder spezialisierte Modelle werden voraussichtlich neben generalisierten Modellen wie GPT-4 oder Claude 3.5 Sonnet die Zukunft sein.
Kosten spielen eine wichtige Rolle, da die Verwendung von LLMs hohe Inferenzkosten und Energieverbrauch mit sich bringt. SLMs, wie Gemma oder LLaMA 8B, sind sehr kostengünstig, da sie weniger Rechenleistung erfordern und Energie sparen. SLMs könnten daher die Zukunft der generativen KI sein.
