Vigtige indsigter
- Tether introducerede en ramme, der muliggør træning af store sprogmodeller på smartphones.
- Systemet brugte BitNet-arkitektur og LoRA-fintuning til at reducere behovet for computere.
- Kryptofirmaer øgede udgifterne til AI-infrastruktur og high-performance computing.
Tether udgav tirsdag en ny træningsramme for kunstig intelligens, som gør det muligt at køre og finjustere store sprogmodeller på forbrugerhardware. Systemet er en del af virksomhedens QVAC-platform og understøtter smartphones sammen med flere ikke-Nvidia-processorer. Ingeniørerne designede rammen for at reducere hukommelseskravene og dermed sænke omkostningsbarrieren for at opbygge og teste sprogmodeller.
Lanceringen kom, da krypto-infrastrukturvirksomheder bevægede sig dybere ind i udvikling af kunstig intelligens og computermarkeder. Tether, der er udsteder af den største stablecoin målt på markedsværdi, indrammede udgivelsen som et forsøg på at decentralisere maskinlæringskapaciteten. Firmaet hævdede, at aktivering af modeltræning på bredt tilgængelig hardware kunne reducere afhængigheden af centraliserede cloud-udbydere.
Tether introducerede BitNet-baseret træningssystem
I Tethers meddelelse beskrives rammen som et træningsmiljø, der er bygget på Microsofts BitNet-arkitektur. Designet brugte one-bit neurale netværksstrukturer kombineret med LoRA-finjusteringsmetoder, så udviklere kan justere modeller og samtidig holde kravene til beregning lave.
Virksomhedens ingeniører sagde, at systemet trænede sprogmodeller med op til en milliard parametre på smartphones på under to timer. Mindre modeller blev angiveligt trænet på få minutter, når de blev optimeret med samme fremgangsmåde. Virksomheden sagde også, at platformen understøttede modeller med op til 13 milliarder parametre på mobile enheder.
Ingeniørerne byggede systemet til at fungere på tværs af flere hardware-økosystemer i stedet for at være afhængige af Nvidia-chips. Rammen understøttede AMD-processorer, Intel-arkitekturer, Apple Silicon-systemer og mobile grafikprocessorer fra Qualcomm og Apple. Denne kompatibilitet udvidede adgangen til maskinlæringseksperimenter ud over traditionelle højtydende computerklynger.
Det tekniske design reducerede også kravene til grafikhukommelse sammenlignet med standardmodeller. Interne tekniske resultater viste, at BitNet-arkitekturen reducerede brugen af VRAM med op til 77,8 % i forhold til sammenlignelige 16-bit-systemer.
Tether skubber AI-beregning ud over Nvidia-hardware
Tether sagde, at arkitekturen gjorde det muligt at finjustere LoRA på hardware uden for Nvidias økosystem. Historisk set var udviklere afhængige af Nvidia-grafikprocessorer til træningsopgaver, fordi disse chips håndterede store tensorberegninger effektivt. Tether’s ingeniører forsøgte at fjerne den begrænsning ved at tillade low-bit træningsmetoder på alternative processorer.
Virksomheden hævdede, at arkitekturen også forbedrede slutningshastighederne for mobile arbejdsbelastninger. Test viste, at mobile grafikprocessorer behandlede BitNet-modeller flere gange hurtigere end almindelige centrale processorenheder. Den forskel gjorde det muligt at køre modeller lokalt på håndholdte enheder i stedet for at kræve ekstern cloud-infrastruktur.
Udviklerne udforskede også distribuerede maskinlæringsmetoder i systemet. Tether beskrev potentielle anvendelser for fødererede læringsmodeller, der opdateres på tværs af netværk af uafhængige enheder. Under den struktur lærer modellerne af lokale data, mens de opbevarer oplysninger på hver enhed i stedet for at uploade dem til centraliserede servere.
Virksomheden foreslog, at tilgangen kunne understøtte privatlivsfokuserede træningsmiljøer. Data forblev lokale, mens kun modelopdateringer blev overført på tværs af netværk. Denne arkitektur afspejlede tendenser inden for decentrale computersystemer og distribuerede kryptografiske netværk.
Tether-udvidelse afspejler kryptoindustriens AI-push
Markedsaktiviteten på tværs af sektoren for digitale aktiver viste stigende investeringer i infrastruktur for kunstig intelligens. Kryptofirmaer omlagde i stigende grad computerkapacitet, der oprindeligt var bygget til blockchain-operationer, til arbejdsbelastninger med maskinlæring.
Offentlige arkiver afslørede, at teknologivirksomheder dannede partnerskaber for at sikre computerkraft i forbindelse med efterspørgslen på kunstig intelligens. En aftale, der blev annonceret i september, gav Google en minoritetsandel i Cipher Mining som en del af en 10-årig aftale til en værdi af 3 milliarder dollars. Ordningen bandt datacenterkapacitet til behov for behandling af kunstig intelligens.
Virksomhedsmeddelelser viste senere, at Bitcoin-mineselskaber også omdirigerede kapital til maskinlæringstjenester. I december skitserede minevirksomheden IREN planer om at rejse omkring 3,6 milliarder dollars for at udvide infrastrukturen til operationer med kunstig intelligens.
Virksomhedernes indtjeningsrapporter i begyndelsen af året forstærkede den samme tendens. HIVE Digital Technologies rapporterede en omsætning på 93,1 millioner dollars efter at have udvidet sine high-performance computing-tjenester. Omkring samme periode sikrede Core Scientific sig en lånefacilitet på 500 millioner dollars fra Morgan Stanley for at understøtte væksten i sin computerinfrastruktur.
Udviklere eksperimenterede også med autonome kunstige intelligensagenter integreret med blockchain-infrastruktur. Coinbase lancerede tegnebogsværktøjer, der gør det muligt for softwareagenter at udføre transaktioner direkte på kæden. Alchemy introducerede tjenester, der gør det muligt for agenter at få adgang til blockchain-data, mens de afvikler betalinger via stablecoin-infrastruktur.
Identitetsnetværk har også udforsket forbindelsen mellem systemer med kunstig intelligens og digital verifikation. World, identitetsnetværket, som OpenAI-chefen Sam Altman var med til at grundlægge, udgav AgentKit tidligere på ugen. Værktøjssættet gjorde det muligt for softwareagenter at verificere deres forbindelse til en unik menneskelig identitet via World ID-systemet.
Tethers seneste rammeværk kom ind i den samme voksende sektor, hvor computerressourcer, maskinlæring og blockchain-systemer krydser hinanden.
Virksomheden sagde, at udviklere kunne integrere træningsværktøjerne i distribuerede applikationer og lokale enheder uden at være afhængige af centraliserede servere.
Den næste udvikling af Tethers ramme for kunstig intelligens vil afhænge af, om udviklerne tager den til sig, og om den bliver testet på enhedsniveau. Ingeniører vil sandsynligvis overvåge, hvordan QVAC-platformen håndterer store modeller på tværs af distribueret forbrugerhardware under kommende udgivelser.