Aus der Nähe
Lokale KI unter Windows ist kein Hobby mehr, während sich regulierte Cloud-Kontrolle verhärtet
Hugging Face veröffentlichte Llama Windows, eine kostenlose Windows-11-App, die quantisierte Modelle herunterlädt, sie lokal ausführt und auf demselben PC eine OpenAI-kompatible API für den Aufruf durch andere Software bereitstellt. Eine OpenAI-kompatible API bedeutet, dass ein lokales Programm im selben Anfrageformat antworten kann, das viele KI-Apps bereits kennen, sodass die App ein Cloud-Modell ersetzen kann, ohne dass die aufrufende Software neu gebaut werden muss. Das dürfte über ein einzelnes Werkzeug hinaus relevant sein, weil es den Aufwand senkt, Windows-Rechner innerhalb gewöhnlicher Software-Bestände in lokale KI-Endpunkte zu verwandeln, wo Microsoft Copilot und Azure als standardmässige Kontrolloberfläche vorangetrieben hat. Es deutet auch darauf hin, dass Open-Weight-Modelle Verbreitung nicht nur durch Modellveröffentlichungen gewinnen, sondern durch Verpackung, die lokale Ausführung wie einen normalen Dienst erscheinen lässt.
Microsoft machte Azure Enclave in kommerziellem Azure und Azure for US Government als verwaltete isolierte Cloud-Umgebung mit richtlinienbasierten Schutzmechanismen für sensible und regulierte Workloads allgemein verfügbar. Azure Enclave ist ein abgetrennter Teil von Azure mit eigenen Netzwerk- und Richtliniengrenzen, mit anderen Worten eine vorgefertigte gesteuerte Zone für Workloads, die nicht in einer gewöhnlichen gemeinsam genutzten Cloud-Umgebung liegen können. Das scheint den KI-Einkauf in Unternehmen von der reinen Modellwahl hin zu der Frage zu verschieben, wo gesteuerter Betrieb stattfinden kann, weil das Hindernis bei regulierter Nutzung oft nicht der Zugang zu einem Modell ist, sondern wo sich Daten, Datenverkehr und Administratoren befinden dürfen. Für Microsoft macht das den sichtbaren Wettbewerb weniger zu einer Frage, überall einen Assistenten zu haben, als die Kontrollschicht um jene Modelle zu besitzen, die ein Kunde zu nutzen bereit ist.
NVIDIA und Cisco stellten USFP vor, einen neuen Standard für optische Module für Ethernet-KI-Fabrics, der bis zu 12.8Tb/s in einen Footprint in OSFP-Grösse bringt. NVIDIA brachte zudem Vera-Rubin-Rack- und Compute-Tray-Designs sowie aktualisierte MGX-Spezifikationen in das Open Compute Project ein. AMD stellte sein Helion-Rack-Scale-KI-Referenzdesign für agentische Workloads vor, und Lattice Semiconductor startete zusammen mit AMI einen Open-Compute-Project-Workstream für sichere Steuerung und sicheres Booten von Rack- und Pod-Infrastruktur.
Belege
- huggingface.coHugging Face releases Llama Windows app for local models on Windows
- microsoft.comAzure Enclave reaches general availability for sensitive and regulated workloads
- investor.nvidia.comNVIDIA and Cisco announce USFP 400Gb/s optics standard for scaling AI factories
- blogs.nvidia.comNVIDIA opens Vera Rubin rack designs and contributes MGX specs to OCP for AI factories
- theregister.comAMD unveils Helion rack-scale AI reference design for agentic workloads at OCP Summit