FreeToken: Esegui modelli enormi localmente, in modo veloce ed efficiente

FreeToken: Esegui modelli enormi localmente, in modo veloce ed efficiente (15k stelle)
 

Cosa fa

FreeToken porta la gestione di modelli su scala data center direttamente sul tuo desktop. Esegui modelli di grandi dimensioni in locale, in modo rapido ed efficiente.

Di:

  • Runtime Edge-Native veloce : offre un servizio MoE efficiente con co-esecuzione CPU-GPU adattiva alla larghezza di banda (politica q*), streaming di pre-riempimento a doppio buffer a livello completo, caching esperto LRU globale, esecuzione compatibile con i grafi e formato di peso veloce FTW.
  • Memorizzazione nella cache basata sulla semantica : include checkpoint di ancoraggio semantico per le cache ricorrenti di stato e chiave-valore, consentendo modifiche di contesto agentivo (ad esempio, chiamate di strumenti, blocchi di pensiero) per evitare ricalcoli di contesto ridondanti.
  • Gestione elastica della memoria : supporta la riallocazione dinamica della VRAM in fase di esecuzione tra le cache expert e la memoria KV senza riavvii del motore o ricaricamento dei pesi.
  • Ampio supporto per modelli MoE e per l’ecosistema : supporta i modelli MoE open-weight più avanzati (ad es. DeepSeek-V4-Flash, Qwen3.6-35B-A3B, GLM-5.2) su diverse scale di parametri e formati di quantizzazione (ad es. MXFP4, NVFP4, FP8, BF16), con API compatibili con Anthropic/OpenAI per una perfetta integrazione con strumenti di codifica e di chiamata di strumenti del mondo reale (ad es. Codex, Claude Code, OpenCode, OpenClaw, DeepSeek Harness).
  • Ampia gamma di hardware consumer : scalabile tra laptop, desktop da gioco e GPU per workstation, con supporto nativo per le GPU NVIDIA delle serie RTX 30, RTX 40 e RTX 50.

uv pip install “freetoken[accel]”

Archivio

https://github.com/FlashML-org/FreeToken

Statistiche del repository

metricoValoreStelle15.073Forchette1,5 milaUltima uscitav0.2.1 (26/10/2026)LinguePitone 74,5%, Cuda 10,7%, C 8,5%Collaboratori28Account di contributori AI (Claude / Codex / Cursor / Copilot)NessunoCommit co-autorizzati dall’IANessuno

Contributore principale

CampoValoreNomeXiaoze FanGitHub@jason-fxzSi impegna in questo repository138 (principale collaboratore)EraStudenti del corso di laurea triennale presso la SJTU, classe d’onore ACM.Azienda / SedeUniversità Jiao Tong di Shanghai / Università della California, Berkeley / Berkeley, CASeguaci156

L’articolo FreeToken: Esegui modelli enormi localmente, in modo veloce ed efficiente proviene da emediaparma.