🧩 AI OSS Timelineに新しいOSSを登録しました
🧩 AI OSS Timelineに新しいOSSを登録しました
NVIDIA Model Optimizer
NVIDIA Model Optimizerは量子化・剪定・蒸留などの最適化技術でLLMを高速化。HuggingFace/PyTorch/ONNXモデルに対応し、TensorRT-LLMなど推論フレームワークとシームレスに統合できます。
https://github.com/NVIDIA/Model-Optimizer
詳細:
https://aiknowledgecms.exbridge.jp/oss.php?id=NVIDIA_Model-Optimizer
NVIDIA Model Optimizer
NVIDIA Model Optimizerは量子化・剪定・蒸留などの最適化技術でLLMを高速化。HuggingFace/PyTorch/ONNXモデルに対応し、TensorRT-LLMなど推論フレームワークとシームレスに統合できます。
https://github.com/NVIDIA/Model-Optimizer
詳細:
https://aiknowledgecms.exbridge.jp/oss.php?id=NVIDIA_Model-Optimizer
github.com
GitHub - NVIDIA/Model-Optimizer: A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural ar
A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downs...