Wichtige Einblicke
- Tether führte ein Framework ein, das das Training großer Sprachmodelle auf Smartphones ermöglicht.
- Das System nutzte die BitNet-Architektur und die LoRA-Feinabstimmung, um den Rechenbedarf zu reduzieren.
- Kryptounternehmen haben ihre Ausgaben für KI-Infrastruktur und Hochleistungsrechner erhöht.
Tether hat am Dienstag ein neues Framework für das Training von künstlicher Intelligenz veröffentlicht, das die Ausführung und Feinabstimmung großer Sprachmodelle auf Verbraucherhardware ermöglicht. Das System war Teil der QVAC-Plattform des Unternehmens und unterstützte Smartphones sowie verschiedene Nicht-Nvidia-Prozessoren. Die Ingenieure haben das Framework entwickelt, um den Speicherbedarf zu reduzieren und so die Kostenbarriere für das Erstellen und Testen von Sprachmodellen zu senken.
Die Markteinführung erfolgte zu einem Zeitpunkt, als Krypto-Infrastrukturunternehmen tiefer in die Entwicklung von künstlicher Intelligenz und in die Rechenmärkte eindrangen. Tether, der Emittent des größten Stablecoins nach Marktkapitalisierung, bezeichnete die Veröffentlichung als einen Versuch, die Fähigkeiten des maschinellen Lernens zu dezentralisieren. Das Unternehmen argumentierte, dass die Möglichkeit, Modelle auf weithin verfügbarer Hardware zu trainieren, die Abhängigkeit von zentralisierten Cloud-Anbietern verringern könnte.
Tether stellt BitNet-basiertes Trainingssystem vor
In der Ankündigung von Tether wird das Framework als eine Trainingsumgebung beschrieben, die auf der BitNet-Architektur von Microsoft aufbaut. Das Design verwendet Ein-Bit-Strukturen neuronaler Netze in Kombination mit LoRA-Feinabstimmungsmethoden, die es Entwicklern ermöglichen, Modelle anzupassen und gleichzeitig den Rechenaufwand gering zu halten.
Die Ingenieure des Unternehmens gaben an, dass das System Sprachmodelle mit bis zu einer Milliarde Parametern auf Smartphones in weniger als zwei Stunden trainierte. Kleinere Modelle konnten Berichten zufolge innerhalb von Minuten trainiert werden, wenn sie mit demselben Ansatz optimiert wurden. Das Unternehmen erklärte auch, dass die Plattform Modelle mit bis zu dreizehn Milliarden Parametern auf mobilen Geräten unterstützt.
Die Ingenieure haben das System so entwickelt, dass es über mehrere Hardware-Ökosysteme hinweg funktioniert, anstatt sich auf Nvidia-Chips zu verlassen. Das Framework unterstützte AMD-Prozessoren, Intel-Architekturen, Apple Silicon-Systeme und mobile Grafikprozessoren von Qualcomm und Apple. Diese Kompatibilität erweiterte den Zugang zu Experimenten im Bereich des maschinellen Lernens über die traditionellen Hochleistungscomputercluster hinaus.
Das technische Design reduzierte auch die Anforderungen an den Grafikspeicher im Vergleich zu Standardmodellen. Interne Entwicklungsergebnisse zeigten, dass die BitNet-Architektur den VRAM-Bedarf gegenüber vergleichbaren 16-Bit-Systemen um bis zu 77,8% reduzierte.
Tether treibt die KI-Rechenleistung über Nvidia-Hardware hinaus
Laut Tether ermöglicht die Architektur die LoRA-Feinabstimmung auf Hardware außerhalb des Nvidia-Ökosystems. In der Vergangenheit waren die Entwickler bei Trainingsaufgaben auf Nvidia-Grafikprozessoren angewiesen, da diese Chips große Tensorberechnungen effizient durchführen konnten. Die Tether-Ingenieure versuchten, diese Einschränkung aufzuheben, indem sie Low-Bit-Trainingsmethoden auf alternativen Prozessoren zuließen.
Das Unternehmen argumentierte, dass die Architektur auch die Inferenzgeschwindigkeit für mobile Arbeitslasten verbessert. Tests zeigten, dass mobile Grafikprozessoren BitNet-Modelle um ein Vielfaches schneller verarbeiteten als herkömmliche zentrale Recheneinheiten. Dieser Unterschied ermöglichte es, Modelle lokal auf Handheld-Geräten auszuführen, anstatt eine entfernte Cloud-Infrastruktur zu benötigen.
Die Entwickler erforschten auch verteilte Methoden des maschinellen Lernens innerhalb des Systems. Tether beschrieb mögliche Anwendungen für föderierte Lernmodelle, die über Netzwerke unabhängiger Geräte aktualisiert werden. Bei dieser Struktur lernen die Modelle aus lokalen Daten und behalten die Informationen auf jedem Gerät, anstatt sie auf zentrale Server hochzuladen.
Das Unternehmen schlug vor, dass dieser Ansatz datenschutzfreundliche Trainingsumgebungen unterstützen könnte. Die Daten blieben lokal, während nur Modellaktualisierungen über Netzwerke übertragen wurden. Diese Architektur spiegelt die Trends bei dezentralen Computersystemen und verteilten kryptographischen Netzwerken wider.
Tether-Expansion spiegelt den KI-Vorstoß der Kryptoindustrie wider
Die Marktaktivität im gesamten Sektor der digitalen Vermögenswerte zeigte steigende Investitionen in die Infrastruktur für künstliche Intelligenz. Kryptofirmen haben zunehmend Rechnerkapazitäten, die ursprünglich für Blockchain-Operationen gebaut wurden, für Machine-Learning-Arbeitslasten umgewidmet.
Aus öffentlichen Unterlagen geht hervor, dass Technologieunternehmen Partnerschaften eingegangen sind, um sich Rechenleistung im Zusammenhang mit der Nachfrage nach künstlicher Intelligenz zu sichern. Ein im September bekannt gegebener Deal verschaffte Google eine Minderheitsbeteiligung an Cipher Mining als Teil einer 10-Jahres-Vereinbarung im Wert von 3 Milliarden Dollar. Die Vereinbarung bindet Rechenzentrumskapazitäten an den Bedarf für die Verarbeitung künstlicher Intelligenz.
Spätere Unternehmensankündigungen deuteten darauf hin, dass Bitcoin-Mining-Firmen ihr Kapital auch in Dienste des maschinellen Lernens umleiteten. Im Dezember gab der Miner IREN bekannt, dass er etwa 3,6 Milliarden Dollar aufbringen will, um die Infrastruktur für den Betrieb künstlicher Intelligenz auszubauen.
Die Gewinnmeldungen der Unternehmen zu Beginn des Jahres verstärkten den gleichen Trend. HIVE Digital Technologies meldete einen Umsatz von 93,1 Millionen Dollar, nachdem das Unternehmen seine High-Performance-Computing-Dienste ausgebaut hatte. Etwa zur gleichen Zeit sicherte sich Core Scientific eine Kreditfazilität in Höhe von 500 Millionen Dollar von Morgan Stanley, um das Wachstum seiner Computerinfrastruktur zu unterstützen.
Die Entwickler experimentierten auch mit autonomen Agenten der künstlichen Intelligenz, die in die Blockchain-Infrastruktur integriert wurden. Coinbase hat Wallet-Tools eingeführt, die es Software-Agenten ermöglichen, Transaktionen direkt auf der Kette auszuführen. Alchemy führte Dienste ein, die es Agenten ermöglichen, auf Blockchain-Daten zuzugreifen und gleichzeitig Zahlungen über die Stablecoin-Infrastruktur abzuwickeln.
Identitätsnetzwerke erforschten auch die Verbindung zwischen Systemen der künstlichen Intelligenz und der digitalen Verifizierung. World, das von OpenAI-Chef Sam Altman mitbegründete Identitätsnetzwerk, veröffentlichte Anfang dieser Woche AgentKit. Das Toolkit ermöglicht es Software-Agenten, ihre Verbindung zu einer eindeutigen menschlichen Identität über das World ID-System zu verifizieren.
Das neueste Framework von Tether betritt denselben expandierenden Sektor, in dem sich Rechenressourcen, maschinelles Lernen und Blockchain-Systeme überschneiden.
Nach Angaben des Unternehmens können Entwickler die Trainingstools in verteilte Anwendungen und lokale Geräte integrieren, ohne auf zentrale Server angewiesen zu sein.
Die nächste Entwicklung des Tether-Frameworks für künstliche Intelligenz wird von der Akzeptanz durch die Entwickler und von Leistungstests auf Geräteebene abhängen. Die Ingenieure werden wahrscheinlich beobachten, wie die QVAC-Plattform mit großen Modellen auf verteilter Verbraucherhardware während der kommenden Versionen umgeht.
