• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

NVIDIA

ChatRTX

Top / ChatRTX

https://www.nvidia.com/ja-jp/ai-on-rtx/chatrtx/

インストーラ

• 	zip	中身	size
  2024/03/27	ChatWithRTX_installer_3_5.zip	ChatWithRTX_installer_3_27_patch_v2	38,920,044,019
  2024/02/15	ChatWithRTX_Installer.zip	ChatWithRTX_Offline_2_15_mistral_Llama	37,680,476,142
  2024/02/11	NVIDIA_ChatWithRTX_Demo.zip	ChatWithRTX_Offline_2_11_mistral_Llama	37,680,489,005

モデル

• Llama 2 13B INT4
• Mistral 7B INT4

メモ

•     "models": {
          "supported": [
              {
                  "name": "Mistral 7B int4",
                  "installed": true,
                  "metadata": {
                      "model_path": "model\\mistral\\mistral7b_int4_engine",
                      "engine": "llama_float16_tp1_rank0.engine",
                      "tokenizer_path": "model\\mistral\\mistral7b_hf",
                      "max_new_tokens": 1024,
                      "max_input_token": 7168,
                      "temperature": 0.1
                  }
              },
              {
                  "name": "Llama 2 13B int4",
                  "installed": true,
                  "metadata": {
                      "model_path": "model\\llama\\llama13_int4_engine",
                      "engine": "llama_float16_tp1_rank0.engine",
                      "tokenizer_path": "model\\llama\\llama13_hf",
                      "max_new_tokens": 1024,
                      "max_input_token": 3900,
                      "temperature": 0.1
                  }
              }
          ],
      },

メモ

• YouTubeを読み込む機能はなくなったらしい

データセット

• .txt?
• .pdf?
• .doc

VRAM使用量

• Mistral 7B int4	約7.8GB
  Llama 2 13B int4	約11GB

旧

• Chat With RTX

モデルを追加

• ELYZA-japanese-Llama-2-7b-instruct
• ELYZA-japanese-Llama-2-13b-instruct?
• https://note.com/ngc_shj/n/n1707caf7ee07

参考

• https://pc.watch.impress.co.jp/docs/column/nishikawa/1571371.html