最終更新:2025-05-18 (日) 03:19:08 (6d)
vLLM
Top / vLLM
2023/06/20
https://blog.vllm.ai/2023/06/20/vllm.html
Easy, fast, and cheap LLM serving for everyone
https://docs.vllm.ai/en/latest/
https://github.com/vllm-project/vllm
概要
- LLMの推論を高速化するためのオープンソースライブラリ
ドキュメント
比較
量子化
対応
モデル
- デフォルトでは、vLLMはHuggingFace Hub?からモデルを読み込みます
https://docs.vllm.ai/en/latest/models/supported_models.html
