• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

Jetson

Jetson AGX Orin

Top / Jetson AGX Orin

https://www.nvidia.com/ja-jp/autonomous-machines/embedded-systems/jetson-orin/

Llama 2

• https://developer.nvidia.com/blog/bringing-generative-ai-to-life-with-jetson/

• Llama 2 70B	4.4tok/s
  Llama 2 13B	22.2tok/s
  Llama 2 7B	42.5tok/s

• https://huggingface.co/TheBloke/Llama-2-7B-Chat-GPTQ
  • 4bit GPTQ

Llama 3 8B

• 最大 40 トークン/秒

• https://blogs.nvidia.co.jp/blog/meta-llama3-inference-acceleration/

ベンチマーク

• https://www.jetson-ai-lab.com/benchmarks.html#jetson-agx-orin

関連

• NVIDIA Jetson AI Lab