• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

LLM

LLM/バックエンド

Top / LLM / バックエンド

llama.cpp

vLLM

Text Generation Inference

ExLlama

• A standalone Python/C++/CUDA implementation of Llama for use with 4-bit GPTQ weights, designed to be fast and memory-efficient on modern GPUs.

ExLlamaV3?

ExLlamaV2

• an inference library for running local LLMs on modern consumer GPUs.

Ollama

• llama.cpp

MLC LLM

TensorRT-LLM

Introducing MII?

関連

• LLM/フロントエンド