vLLMとは
vLLMは、オープンウェイトの大規模言語モデルを高速に推論・配信するためのオープンソース基盤です。UC Berkeleyの研究を起点に開発され、PagedAttention、continuous batching、prefix caching、量子化、分散推論などを組み合わせて、GPUメモリと処理能力を効率よく使います。
チャットサービスではなく、自社サーバーやクラウド上でモデルAPIを構築するための開発者向けツールです。
主な機能
- OpenAI互換API：Chat Completions、Responses、Embeddings、音声文字起こしなどの互換エンドポイントを提供します。
- 高速なモデル配信：PagedAttention、continuous batching、chunked prefill、prefix caching、CUDA／HIP graphを利用できます。
- 幅広いモデル対応：Llama、Qwen、Gemma、DeepSeek、Kimi、各種マルチモーダル・埋め込みモデルなど、200以上のモデルアーキテクチャをサポートします。
- 分散推論：tensor、pipeline、data、expert、context parallelismに対応し、複数GPUや複数ノードへ拡張できます。
- 量子化と推測デコード：FP8、INT8、INT4、GPTQ、AWQ、GGUFなどの量子化形式と、複数のspeculative decoding方式を利用できます。
- 複数ハードウェア：NVIDIA、AMD、CPUのほか、プラグインを通じてTPU、Gaudi、Ascendなどにも対応します。
こんな人におすすめ
- オープンウェイトモデルをOpenAI互換APIとして社内提供したい開発者
- GPUあたりの同時処理数や推論コストを最適化したいチーム
- Qwen、DeepSeek、Llama、Kimiなどを自社環境で運用したい企業
- ローカル検証から複数GPUの本番配信まで同じ基盤を使いたい人
v0.28.0の主な更新
2026年8月26日に公開されたv0.28.0では、Kimi K3とDeepSeek V4の推論最適化、推測デコード、Model Runner V2、KV Cacheの階層型オフロード、RustフロントエンドとgRPCが強化されました。大規模な更新のため、本番環境ではモデルごとの互換性と性能を検証してから移行してください。
料金とライセンス
vLLM本体はApache License 2.0のオープンソースで、無料で利用できます。GPU、クラウド、ストレージ、ネットワーク、監視などのインフラ費用は別途必要です。また、配信するモデルごとのライセンスと商用利用条件も確認してください。
セキュリティ上の注意
公式ドキュメントでは、vLLMのAPIキー認証がすべてのエンドポイントを保護するわけではないと注意されています。インターネットへ直接公開せず、リバースプロキシ、ネットワーク制限、TLS、認証、レート制限、監査ログを組み合わせてください。
ローカルで対話UIも使いたい場合はOpen WebUI、簡単にモデルを試したい場合はOllamaやLM Studioも比較できます。