最終更新:2024-04-03 (水) 02:59:53 (10d)  

n-gpu-layers
Top / n-gpu-layers

メモ

  • GGUFを読み込むときのバックエンドはllama.cppで、GPUにオフロードするレイヤー数を指定しないとGPUを使ってくれない