Unabhängige Benchmarks für souveräne KI.
SovBench vergleicht Anbieter, die große Sprachmodelle aus Rechenzentren in der Europäischen Union bereitstellen, nach Geschwindigkeit, Zuverlässigkeit, Preis und Datensouveränität und prüft, wie gut Modelle mit deutscher Sprache umgehen.
Über SovBench
Viele Unternehmen und Behörden in Europa dürfen nur KI-Dienste nutzen, die Daten in der EU verarbeiten und die DSGVO einhalten. SovBench betrachtet diesen Markt unabhängig: welche Anbieter LLM-APIs aus europäischen Rechenzentren anbieten, was sie kosten, wie schnell und zuverlässig sie sind und wem sie gehören.
SovBench ist ein Projekt der Laps Ventures UG (haftungsbeschränkt) in München und unabhängig von den Anbietern, die es betrachtet.
Gemessen in Deutschland
Latenz hängt davon ab, wo gemessen wird. Globale Benchmarks laufen oft in Rechenzentren in den USA, was jedem europäischen Anbieter einen Weg über den Atlantik hinzufügt. SovBench misst von einem Server in Deutschland aus, sodass die Werte widerspiegeln, was Nutzer in Mitteleuropa erleben.
Kennzahlen
- Latenz
- Zeit bis zum ersten Token und Gesamtdauer gestreamter Anfragen.
- Durchsatz
- Ausgabegeschwindigkeit in Tokens pro Sekunde.
- Zuverlässigkeit
- Verfügbarkeit und Fehlerquote jedes API-Endpunkts.
- Preis
- Preis pro Million Input- und Output-Tokens, einschließlich der Effizienz des Tokenizers bei deutschem Text.
- Datensouveränität
- Hauptsitz, Eigentümer, Standort der Rechenzentren, Zertifizierungen und Regeln zur Datenspeicherung jedes Anbieters.
- Deutsche Sprache
- Wie gut offene und proprietäre Modelle deutsche Geschäftsdokumente wie Verträge und Behördenschreiben verarbeiten.
Anbieter
SovBench betrachtet europäische Anbieter von LLM-Inferenz, darunter:
- IONOS
- STACKIT
- Scaleway
- OVHcloud
- Mistral AI
- Cortecs
- EUrouter
Verglichen werden Open-Weight-Modelle wie gpt-oss, Llama und Qwen bei den Anbietern, die sie bereitstellen.