ニュースレター
AIの最新情報を受け取る
新しいAIツールや活用ガイドをメールでお届けします
llama.cpp
llama.cppは、GGUF形式のLLMをCPUや各種GPUで効率よく実行できるC/C++製のオープンソース推論エンジンです。CLI、量子化、OpenAI互換HTTPサーバーを備え、ローカルAIを細かく制御できます。
llama.cppは、GGUF形式のLLMをCPUや各種GPUで効率よく実行できるC/C++製のオープンソース推論エンジンです。CLI、量子化、OpenAI互換HTTPサーバーを備え、ローカルAIを細かく制御できます。
llama.cppは、LLMを幅広いハードウェアで効率よく実行するためのC/C++製推論エンジンです。GGUF形式のモデルをローカルPCやサーバーで動かし、CLIで会話したり、OpenAI互換のHTTP APIとして公開したりできます。
llama.cpp自体はオープンソースですが、実行するモデルのライセンスは別に確認が必要です。モデルサイズだけでなく、量子化方式、コンテキスト長、KVキャッシュ、同時実行数も必要メモリへ影響します。
2026年8月5日にはQwen3-TTS対応とDeepSeek OCRの複数行バッチ処理が追加されました。前者にはllama-ttsバイナリの破壊的変更が含まれるため、既存スクリプトを更新する際はリリースノートを確認してください。
Ollama・LM Studio・llama.cppを詳しく比較する
