🧩 AI OSS Timelineに新しいOSSを登録しました
🧩 AI OSS Timelineに新しいOSSを登録しました
FreeToken
290B超のMoEモデルをゲーミングPCで実行するエッジ推論エンジン。CPU-GPU協調実行とセマンティックキャッシングで、対話型の高速応答を実現
https://github.com/FlashML-org/FreeToken
詳細:
https://aiknowledgecms.exbridge.jp/oss.php?id=FlashML-org_FreeToken
FreeToken
290B超のMoEモデルをゲーミングPCで実行するエッジ推論エンジン。CPU-GPU協調実行とセマンティックキャッシングで、対話型の高速応答を実現
https://github.com/FlashML-org/FreeToken
詳細:
https://aiknowledgecms.exbridge.jp/oss.php?id=FlashML-org_FreeToken
github.com
GitHub - FlashML-org/FreeToken: FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and effici
FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently. - FlashML-org/FreeToken