最終更新:2024-04-03 (水) 01:21:38 (10d)  

ChatRTX
Top / ChatRTX

https://www.nvidia.com/ja-jp/ai-on-rtx/chatrtx/

インストーラ

  • zip中身size
    2024/03/27ChatWithRTX_installer_3_5.zipChatWithRTX_installer_3_27_patch_v238,920,044,019
    2024/02/15ChatWithRTX_Installer.zipChatWithRTX_Offline_2_15_mistral_Llama37,680,476,142
    2024/02/11NVIDIA_ChatWithRTX_Demo.zipChatWithRTX_Offline_2_11_mistral_Llama37,680,489,005

モデル

メモ

  •     "models": {
            "supported": [
                {
                    "name": "Mistral 7B int4",
                    "installed": true,
                    "metadata": {
                        "model_path": "model\\mistral\\mistral7b_int4_engine",
                        "engine": "llama_float16_tp1_rank0.engine",
                        "tokenizer_path": "model\\mistral\\mistral7b_hf",
                        "max_new_tokens": 1024,
                        "max_input_token": 7168,
                        "temperature": 0.1
                    }
                },
                {
                    "name": "Llama 2 13B int4",
                    "installed": true,
                    "metadata": {
                        "model_path": "model\\llama\\llama13_int4_engine",
                        "engine": "llama_float16_tp1_rank0.engine",
                        "tokenizer_path": "model\\llama\\llama13_hf",
                        "max_new_tokens": 1024,
                        "max_input_token": 3900,
                        "temperature": 0.1
                    }
                }
            ],
        },

メモ

  • YouTubeを読み込む機能はなくなったらしい

データセット

VRAM使用量

モデルを追加

参考