🧩 AI OSS Timelineに新しいOSSを登録しました
🧩 AI OSS Timelineに新しいOSSを登録しました
tokenspeed
TokenSpeedは、エージェント向けのLLM推論エンジン。制御プレーン（C++）と実行プレーン（Python）を分離し、TensorRT-LLMのパフォーマンスとvLLMの使いやすさを実現。
https://github.com/lightseekorg/tokenspeed
詳細:
https://aiknowledgecms.exbridge.jp/oss.php?id=lightseekorg_tokenspeed
tokenspeed
TokenSpeedは、エージェント向けのLLM推論エンジン。制御プレーン（C++）と実行プレーン（Python）を分離し、TensorRT-LLMのパフォーマンスとvLLMの使いやすさを実現。
https://github.com/lightseekorg/tokenspeed
詳細:
https://aiknowledgecms.exbridge.jp/oss.php?id=lightseekorg_tokenspeed
github.com
GitHub - lightseekorg/tokenspeed: TokenSpeed is a speed-of-light LLM inference engine.
TokenSpeed is a speed-of-light LLM inference engine. - lightseekorg/tokenspeed