- AI Bytes
- Posts
- Byte Newsletter – Neues Open Weights Modell übertrifft GPT-5
Byte Newsletter – Neues Open Weights Modell übertrifft GPT-5
Christian Musanke
9. November 2025
Hey,
Willkommen zum Byte Newsletter – Wöchentliche Bits & Bytes zu KI-Technologie.
Diese Bytes gibt es heute:
Google stelle neue Machine-Learning Methode für “continual learning” vor
GPT-5.1 lässt sich vor Veröffentlichung bereits testen
Kimi K2 Thinking übertrifft Claude Sonnet 4.5 und GPT-5 in mehreren Benchmarks
Chronos 2, das neue Zeitreihen-Vorhersagemodell von Amazon Science
“The German Commons” – 154 Bio. Token Trainingset für Deutsche Sprache
Dies ist die erste Ausgabe des Byte Newsletters! ✨
Wir freuen uns riesig, dass du schon jetzt mit dabei bist! 🥳
Wenn du 1-2 Minuten Zeit hast, antworte gerne kurz auf diese Mail. Schreib uns, was dich interessiert oder was dir weniger gefällt.
Mit deinem Feedback bauen wir mit Byte eine deutschsprachige AI-Community zum gemeinsamen Austausch auf! 🚀
🤿 Deepdive der Woche: Nested Learning
Was ist passiert?
Google Research hat mit Nested Learning ein neues Machine-Learning-Konzept vorgestellt, das ein fundamentales Probleme moderner LLMs adressiert: Catastrophic Forgetting. Dabei handelt es sich um das Phänomen, dass neuronale Netze beim Lernen neuer Aufgaben zuvor gelernte Aufgaben nicht mehr bewältigen können.
Das Kernkonzept
Nested Learning behandelt ML-Training nicht als kontinuierlichen Trainingsprozess, sondern als System von verwobenen, mehrstufigen Optimierungsproblemen.
Jedes Optimierungsproblem hat seinen eigenen “Context Flow” und eine eigene Aktualisierungsrate.
Das Modell lernt, welche Weights in der Vergangenheit wichtig waren, um Probleme zu lösen und behält diese bei. Backpropagation lässt sich als assoziatives Speichersystem modellieren.
Inspiration beim Menschlichen Gehirn, das sich durch neue Erfahrungen strukturell verändert, bzw. anpasst (Neuroplastizität).
Hope – Ein Proof-of-Concept-Modell für Nested Learning wurde zeitgleich vorgestellt.
Warum das wichtig ist
Das Paper zielt auf ein fundamentales Problem von heutigen LLMs ab, nämlich dass Modelle auf ihr erworbenes Wissen aus dem Pre-Training und den aktuellen Kontext angewiesen sind.
Kontinuierliches Lernen könnte bewirken, dass Modelle sich durch neu erworbene Informationen (z.B. im Chatverlauf mit einem User) selbst weiter trainieren, also nachträglich ihre Weights anpassen können.
Als nächster Schritt könnten Modellentwickler in der Praxis versuchen, Modellarchitektur und Optimizer nicht mehr zu trennen, sondern als ein Konzept wahrzunehmen.
Unsere 2 Bytes
Wenn einer der großen Modellentwickler ein neues konzeptuelles Paper veröffentlicht, ist dies grundsätzlich interessant. Google scheint mit Hope sogar bereits eine praktische Validierung für das Konzept entwickelt zu haben.
Leider ist es recht anspruchsvoll, das kurze Paper verstehen und in den richtigen Kontext setzen zu können. Geholfen haben uns dabei die Diskussionen der Reddit-Community.
Wir verstehen das Konzept so, dass ein Modell aus mehreren “Bereichen” besteht. Jeder Bereich in einem Nested-Learning-Modell lernt mit einem unterschiedlichen Tempo. Schnelle Teile verarbeiten neue Informationen / Trainings-Inputs, wohingegen langsamere Teile entscheiden, welche Informationen langfristig beibehalten werden sollen. So kann das Modell selbst entscheiden, wann existierende Informationen überschrieben werden sollen oder nicht.
Die Kurzversion des Papers wurde für die Vorstellung auf der NeurIPS geschrieben, auf die ausführliche Version von Google Deepmind werden wir sicherlich noch etwas warten müssen.
Wir sind sehr gespannt darauf, wann wir die ersten Konzepte in (Open-Source)-Modellen wiedersehen werden.
🔍 Tipp: GPT-5.1 schon heute nutzen!
OpenAI bestätigt GPT-5.1 Modellfamilie
OpenAI bereitet aktuell die Einführung einer GPT-5.1 Modellfamilie vor. Mehrere User auf Twitter berichteten davon, wie durch Updates an der Model-Platform immer wieder Hinweise auf das neue Modell geleakt wurden.
Das neue Modell ist unter dem Namen “Polaris Alpha” auf OpenRouter kostenlos testbar (im Gegenzug darf OpenAI die verarbeiteten Daten nutzen), was darauf hindeutet, dass GPT-5.1 in den nächsten 1-2 Wochen veröffentlicht werden sollte.
Die Details
Drei Varianten geplant: GPT-5.1, GPT-5.1 Reasoning und GPT-5.1 Pro
Allgemeine Verfügbarkeit: 24. November 2025 für Enterprise-Kunden; Plus/Pro-User könnten schon früher Zugriff erhalten
Polaris Alpha auf OpenRouter: 256K Context-Fenster – Positives Community-Feedback
👾 AI Model Updates
Kimi K2 Thinking ist das neue weltbeste Open-Weights Modell
Release: 06.11.2025 – Moonshot AI veröffentlicht Kimi K2 Thinking, die Reasoning-Variante von Kimi K2
Specs: 262k Kontextfenster • Parameter: 1 Bio. • Knowledge Cutoff 12/24 • MoE-Architektur (384 Experts, 8 aktiv)
API & Preis: $0,60 / $2,50 (pro 1 Mio. Input / Output Token) • lokal ausführbar
Benchmarks: AIME 2025 94,5% (99,1% mit Tools) • 🥇 HLE: 44,9% mit Tools (51% mit 8x parallel test-time compute) • SWE-Bench (verified) 71,3% mit Tools
Use-Cases: KI-Agenten-Systeme • Komplexes Reasoning • Multi-Agent-Orchestration • Coding
TL;DR: Kimi K2 Thinking ist ein günstiges Open Weights Modell, das auf dem Level von GPT-5, Claude Sonnet 4.5 und Gemini 2.5 Pro mitspielt.
MiniMax M2: Claude-Sonnet 4 Performance bloß 92% günstiger
Release: 27.10.2025 – MiniMax veröffentlicht MiniMax M2 als Open-Source-Modell speziell für Agents und Code-Entwicklung
Specs: Tool Use & Deep Search • Optimiert für lange Tool-Calling-Sequenzen
API & Preis: $0,30 / $1,20 (pro 1 Mio. Input / Output Token) • 🥇 8% des Claude Sonnet 4.5-Preises • TPS: ~100 Token/Sekunde (doppelt so schnell wie Sonnet)
Benchmarks: Tool Use: vergleichbar mit Top-Modellen • Deep Search: vergleichbar mit Top-Modellen • Coding: leicht hinter internationalen Top-Modellen
Use-Cases: KI-Agenten-Systeme • End-to-End Development (Claude Code, Cursor, Cline)
TL;DR: M2 erreicht Sonnet-ähnliche Performance bei nur 8% der Kosten und doppelter Inferenz-Geschwindigkeit. Modell auf HuggingFace verfügbar.
Chronos-2: Foundation-Model für Zeitreihen-Vorhersage
Release: 20.10.2025 – Amazon Science präsentiert Chronos-2 mit In-Context Learning
Specs: Unterstützt univariate, multivariate und covariate-informierte Vorhersagen • Zero-shot Capabilities • Quantile-basierte probabilistische Vorhersagen • Group Attention Mechanismus für beliebige Dimensionen
Datengrundlage: Hybrid aus realen Zeitreihen und synthetischen Daten
Benchmarks: fev-bench: 🥇 Deutlicher Vorsprung gegenüber allen bestehenden TSFMs • GIFT-Eval: 🥇 Platz 1 (outperformt TimesFM-2.5 und TiRex) • Besondere Stärke bei kovariaten-informierten Tasks
Use-Cases: Cloud-Infrastructure-Monitoring • Verhaltensbasierte Vorhersagen • Trading
TL;DR: Chronos-2 erweitert den erfolgreichen Vorgänger Chronos-1 (600M+ Downloads) um multivariate und kovariate Vorhersagen via In-Context Learning und erreicht damit neue Bestleistungen in Benchmarks.
🛠️ Neue KI-Tools
Sesame – Persönlicher Assistent mit revolutionären Voice-Modellen
Comfy Cloud – ComfyUI im Browser (ab $20 / Monat)
🇩🇪 The German Commons: 154 Milliarden Training-Tokens veröffentlicht
Was ist passiert?
Forscher aus Deutschland haben mit „The German Commons" den bisher größten Corpus mit explizit offenen Lizenzen für deutschsprachige Texte veröffentlicht.
Die Sammlung enthält 154 Milliarden Tokens aus sieben Fachbereichen (Web, Politik, Recht, News, Wirtschaft, Kultur, Wissenschaft), insgesamt über 35,78 Millionen Dokumente. Alle Texte sind mit mindestens CC-BY-SA 4.0 oder gleichwertigen Lizenzen gekennzeichnet.
Warum das wichtig ist:
Die meisten Trainings-Corpora stammen aus Web-Crawls mit ungeklärter Lizenzierung. Mit “The German Commons” entfällt dieses Hindernis für deutschsprachige Inhalte, was es deutschen Startups, Unis und KI-Labs einfacher und sicherer macht, eigene offene KI-Modelle zu trainieren.
Unsere 2 Bytes
The German Commons ist eine geniale Initiative, um KI-Technologie für Deutschland weiter zu fördern.
Viele Studien zeigen, dass auch moderne LLMs entweder schlechtere Performance in ex-Englisch Sprachen liefern oder fremde Sprachen gar nicht unterstützen (eher ein Problem bei kleineren Modellen).
Wir sind uns sicher, dass das neue Trainings-Set u.a. dazu beitragen wird, den Output von Prompts in deutscher Sprache nachhaltig zu verbessern.
