Software-Optimierungen, die staunen lassen
Die Forscher, die aus der Universität Oxford stammen, demonstrieren, dass geschicktes Software-Tuning selbst mit wenig Arbeitsspeicher viel bewirken kann. Das eingesetzte Modell basiert auf LLama2.c und hat 260.000 Parameter; es erreicht eine Ausführungsgeschwindigkeit von 39,31 Tokens pro Sekunde. Zum Vergleich: Ein Modell mit einer Milliarde Parametern würde nur 0,0093 Tokens pro Sekunde schaffen. Auch wenn das weit entfernt ist von der Leistung moderner Systeme wie GPT-4, ist das technisch bemerkenswert und steht für einen Fortschritt in der KI-Entwicklung.
So lief die Demo auf alter Hardware
Gezeigt wurde die Demo auf einer Konfiguration mit Pentium II-Prozessor, 350 MHz, 128 MB RAM und Windows 98. Auf dieser Retro-Hardware konnte Text quasi sofort generiert werden, was viele als “ungewöhnlich” bezeichneten. EXO Labs veröffentlichte dazu ein Video auf X (früher Twitter), in dem die Maschine auf eine einfache Anfrage reagierte. Der erzeugte Text ist zwar literarisch einfach, bleibt aber syntaktisch kohärent; er kombiniert etwa “Sleepy Joe” und “Spot” zu einer absurden Erzählung und zeigt damit die Leistung selbst bei sehr begrenzter Rechenkapazität.
Was die Forschung erreichen will und welche Hürden es gibt
EXO Labs hat sich die Demokratisierung des Zugangs zu künstlicher Intelligenz auf die Fahne geschrieben. Die Forscher meinen, dass sich KI auf günstigeren und energieeffizienteren Geräten realisieren lässt, wenn man den Hardware-Bedarf deutlich reduziert. Zwei zentrale Anliegen sind dabei:
- das Training von Modellen so zu optimieren, dass weniger Ressourcen nötig sind,
- und die lokale Ausführung von Anfragen zu ermöglichen, um die Abhängigkeit von großen entfernten Servern zu verringern.
Offen bleibt, ob sich anspruchsvollere Funktionen wirklich in Alltagsgegenstände integrieren lassen, ohne Preis oder Energieverbrauch deutlich zu erhöhen.
Ein neuer Blick auf Hardware und Technik
Heute stecken viele Firmen riesige Summen in teure Hardware. Als Beispiel gilt der Nvidia Blackwell B200 (Preisbereich 27.600 € bis 36.800 €) — typisch für die teuren Komponenten, die in modernen KI-Projekten zum Einsatz kommen. Im Gegensatz dazu zeigt die Arbeit von EXO Labs, dass man mit technischen Tricks auf älterer Hardware bemerkenswerte Ergebnisse erzielen kann.
Die Demonstration regt zum Nachdenken an über die künftige Richtung der KI-Entwicklung und -Anwendung. Sie wirft die Frage auf, welche Möglichkeiten sich eröffnen, wenn man vorhandene ältere Technik clever nutzt — vielleicht steht eine echte Veränderung bevor, wie man KI für alle zugänglicher, kostengünstiger und energieeffizienter macht.
