Cosa fa
FreeToken porta la gestione di modelli su scala data center direttamente sul tuo desktop. Esegui modelli di grandi dimensioni in locale, in modo rapido ed efficiente.
Di:
- Runtime Edge-Native veloce : offre un servizio MoE efficiente con co-esecuzione CPU-GPU adattiva alla larghezza di banda (politica q*), streaming di pre-riempimento a doppio buffer a livello completo, caching esperto LRU globale, esecuzione compatibile con i grafi e formato di peso veloce FTW.
- Memorizzazione nella cache basata sulla semantica : include checkpoint di ancoraggio semantico per le cache ricorrenti di stato e chiave-valore, consentendo modifiche di contesto agentivo (ad esempio, chiamate di strumenti, blocchi di pensiero) per evitare ricalcoli di contesto ridondanti.
- Gestione elastica della memoria : supporta la riallocazione dinamica della VRAM in fase di esecuzione tra le cache expert e la memoria KV senza riavvii del motore o ricaricamento dei pesi.
- Ampio supporto per modelli MoE e per l’ecosistema : supporta i modelli MoE open-weight più avanzati (ad es. DeepSeek-V4-Flash, Qwen3.6-35B-A3B, GLM-5.2) su diverse scale di parametri e formati di quantizzazione (ad es. MXFP4, NVFP4, FP8, BF16), con API compatibili con Anthropic/OpenAI per una perfetta integrazione con strumenti di codifica e di chiamata di strumenti del mondo reale (ad es. Codex, Claude Code, OpenCode, OpenClaw, DeepSeek Harness).
- Ampia gamma di hardware consumer : scalabile tra laptop, desktop da gioco e GPU per workstation, con supporto nativo per le GPU NVIDIA delle serie RTX 30, RTX 40 e RTX 50.
uv pip install “freetoken[accel]”
Archivio
https://github.com/FlashML-org/FreeToken
Statistiche del repository
metricoValoreStelle15.073Forchette1,5 milaUltima uscitav0.2.1 (26/10/2026)LinguePitone 74,5%, Cuda 10,7%, C 8,5%Collaboratori28Account di contributori AI (Claude / Codex / Cursor / Copilot)NessunoCommit co-autorizzati dall’IANessuno
Contributore principale
CampoValoreNomeXiaoze FanGitHub@jason-fxzSi impegna in questo repository138 (principale collaboratore)EraStudenti del corso di laurea triennale presso la SJTU, classe d’onore ACM.Azienda / SedeUniversità Jiao Tong di Shanghai / Università della California, Berkeley / Berkeley, CASeguaci156
L’articolo FreeToken: Esegui modelli enormi localmente, in modo veloce ed efficiente proviene da emediaparma.