[GH-ISSUE #515 ] WebUI API请求URL问题 #368

Author

Owner

@SongXiaoMao commented on GitHub (Feb 20, 2025):

还有个问题你发现了么使用webUI对话没有思考过程 think标签都是空的

@SongXiaoMao commented on GitHub (Feb 20, 2025): 还有个问题你发现了么使用webUI对话没有思考过程 think标签都是空的

bsakaguchi commented

Author

Owner

@chenxianpeng1998 commented on GitHub (Feb 20, 2025):

原因应该是每次启动时会将host和port参数重新注入config.js，我的解决方法是重新将index.html中引入的 github.com/kvcache-ai/ktransformers@b4fb633991/ktransformers/website/public/index.html (L7) 替换为自己重新建立的<script src="./config_remote.js"></script>，config_remote.js中将config.js中的 github.com/kvcache-ai/ktransformers@b4fb633991/ktransformers/website/public/config.js (L2) 修改为apiUrl: '/v1',
如果用nginx配置反代要注意把host改一下，改为自己的域名，不然依旧是localhost。

@chenxianpeng1998 commented on GitHub (Feb 20, 2025): 原因应该是每次启动时会将host和port参数重新注入config.js，我的解决方法是重新将index.html中引入的 https://github.com/kvcache-ai/ktransformers/blob/b4fb633991bae29a26a81dc486a0b1920ff18519/ktransformers/website/public/index.html#L7 替换为自己重新建立的`<script src="./config_remote.js"></script>`，config_remote.js中将config.js中的 https://github.com/kvcache-ai/ktransformers/blob/b4fb633991bae29a26a81dc486a0b1920ff18519/ktransformers/website/public/config.js#L2 修改为`apiUrl: '/v1',` 如果用nginx配置反代要注意把host改一下，改为自己的域名，不然依旧是localhost。

bsakaguchi commented

Author

Owner

@SongXiaoMao commented on GitHub (Feb 20, 2025):

原因应该是每次启动时会将host和port参数重新注入config.js，我的解决方法是重新将index.html中引入的

ktransformers/ktransformers/website/public/index.html

Line 7 in b4fb633

替换为自己重新建立的<script src="./config_remote.js"></script>，config_remote.js中将config.js中的
ktransformers/ktransformers/website/public/config.js

Line 2 in b4fb633

apiUrl: 'http://119.255.238.12:15670/v1',
修改为apiUrl: '/v1',
如果用nginx配置反代要注意把host改一下，改为自己的域名，不然依旧是localhost。

请问你用webUI使用的时候模型会思考么我用这个为什么后台的think都是空标签了使用默认的local_chat可以正确思考

@SongXiaoMao commented on GitHub (Feb 20, 2025): > 原因应该是每次启动时会将host和port参数重新注入config.js，我的解决方法是重新将index.html中引入的 > > [ktransformers/ktransformers/website/public/index.html](https://github.com/kvcache-ai/ktransformers/blob/b4fb633991bae29a26a81dc486a0b1920ff18519/ktransformers/website/public/index.html#L7) > > Line 7 in [b4fb633](/kvcache-ai/ktransformers/commit/b4fb633991bae29a26a81dc486a0b1920ff18519) > > <script src="./config.js"></script> > 替换为自己重新建立的`<script src="./config_remote.js"></script>`，config_remote.js中将config.js中的 > [ktransformers/ktransformers/website/public/config.js](https://github.com/kvcache-ai/ktransformers/blob/b4fb633991bae29a26a81dc486a0b1920ff18519/ktransformers/website/public/config.js#L2) > > Line 2 in [b4fb633](/kvcache-ai/ktransformers/commit/b4fb633991bae29a26a81dc486a0b1920ff18519) > > apiUrl: 'http://119.255.238.12:15670/v1', > 修改为`apiUrl: '/v1',` > 如果用nginx配置反代要注意把host改一下，改为自己的域名，不然依旧是localhost。请问你用webUI使用的时候模型会思考么我用这个为什么后台的think都是空标签了使用默认的local_chat可以正确思考

bsakaguchi commented

Author

Owner

@chenxianpeng1998 commented on GitHub (Feb 20, 2025):

原因应该是每次启动时会将host和port参数重新注入config.js，我的解决方法是重新将index.html中引入的
ktransformers/ktransformers/website/public/index.html
Line 7 in b4fb633

替换为自己重新建立的<script src="./config_remote.js"></script>，config_remote.js中将config.js中的
ktransformers/ktransformers/website/public/config.js
Line 2 in b4fb633
apiUrl: 'http://119.255.238.12:15670/v1',
修改为apiUrl: '/v1',
如果用nginx配置反代要注意把host改一下，改为自己的域名，不然依旧是localhost。

请问你用webUI使用的时候模型会思考么我用这个为什么后台的think都是空标签了使用默认的local_chat可以正确思考

我的设备运行R1模型时候会出现问题 #216 ，没法测试这个情况。

@chenxianpeng1998 commented on GitHub (Feb 20, 2025): > > 原因应该是每次启动时会将host和port参数重新注入config.js，我的解决方法是重新将index.html中引入的 > > [ktransformers/ktransformers/website/public/index.html](https://github.com/kvcache-ai/ktransformers/blob/b4fb633991bae29a26a81dc486a0b1920ff18519/ktransformers/website/public/index.html#L7) > > Line 7 in [b4fb633](/kvcache-ai/ktransformers/commit/b4fb633991bae29a26a81dc486a0b1920ff18519) > > <script src="./config.js"></script> > > 替换为自己重新建立的`<script src="./config_remote.js"></script>`，config_remote.js中将config.js中的 > > [ktransformers/ktransformers/website/public/config.js](https://github.com/kvcache-ai/ktransformers/blob/b4fb633991bae29a26a81dc486a0b1920ff18519/ktransformers/website/public/config.js#L2) > > Line 2 in [b4fb633](/kvcache-ai/ktransformers/commit/b4fb633991bae29a26a81dc486a0b1920ff18519) > > apiUrl: 'http://119.255.238.12:15670/v1', > > 修改为`apiUrl: '/v1',` > > 如果用nginx配置反代要注意把host改一下，改为自己的域名，不然依旧是localhost。 > > 请问你用webUI使用的时候模型会思考么我用这个为什么后台的think都是空标签了使用默认的local_chat可以正确思考我的设备运行R1模型时候会出现问题 #216 ，没法测试这个情况。

bsakaguchi commented

Author

Owner

@SongXiaoMao commented on GitHub (Feb 20, 2025):

你好，请教一下我index文件没有修改 config.js 文件修改如下

window.configWeb = {
apiUrl: 'http://192.168.66.15:15670/v1',
port: 8080,
};

为什么启动对话还是这样呢？我还需要修改什么地方吗？

@SongXiaoMao commented on GitHub (Feb 20, 2025): ![Image](https://github.com/user-attachments/assets/78e95c11-0b8d-41d4-8e70-0208b7db2a5f) 你好，请教一下我index文件没有修改 config.js 文件修改如下 window.configWeb = { apiUrl: 'http://192.168.66.15:15670/v1', port: 8080, }; 为什么启动对话还是这样呢？我还需要修改什么地方吗？

bsakaguchi commented

Author

Owner

@chenxianpeng1998 commented on GitHub (Feb 20, 2025):

你好，请教一下我index文件没有修改 config.js 文件修改如下

window.configWeb = { apiUrl: 'http://192.168.66.15:15670/v1', port: 8080, };

为什么启动对话还是这样呢？我还需要修改什么地方吗？

每次启动ktransformers会重新修改config.js文件的，修改index.html是为了让网页不引入config.js文件，而是改用自己配置的js。

@chenxianpeng1998 commented on GitHub (Feb 20, 2025): > ![Image](https://github.com/user-attachments/assets/78e95c11-0b8d-41d4-8e70-0208b7db2a5f) > > 你好，请教一下我index文件没有修改 config.js 文件修改如下 > > window.configWeb = { apiUrl: 'http://192.168.66.15:15670/v1', port: 8080, }; > > 为什么启动对话还是这样呢？我还需要修改什么地方吗？每次启动ktransformers会重新修改config.js文件的，修改index.html是为了让网页不引入config.js文件，而是改用自己配置的js。

bsakaguchi commented

Author

Owner

@SongXiaoMao commented on GitHub (Feb 20, 2025):

你好我这里按照你的修改完毕了为什么对话的时候还是调用的原来的js？

@SongXiaoMao commented on GitHub (Feb 20, 2025): ![Image](https://github.com/user-attachments/assets/8efd52ed-b564-47c8-8152-3312625c3ba0) 你好我这里按照你的修改完毕了为什么对话的时候还是调用的原来的js？

bsakaguchi commented

Author

Owner

@DengxiaoHong999 commented on GitHub (Feb 20, 2025):

请教一下：为什么我的网页版对话都是request error,而且只能本机访问

@DengxiaoHong999 commented on GitHub (Feb 20, 2025): 请教一下：为什么我的网页版对话都是request error,而且只能本机访问

bsakaguchi commented

Author

Owner

@DengxiaoHong999 commented on GitHub (Feb 20, 2025):

请教一下：为什么我的网页版对话都是request error,而且只能本机访问

按照大佬的方法改了config和index.html

@DengxiaoHong999 commented on GitHub (Feb 20, 2025): > 请教一下：为什么我的网页版对话都是request error,而且只能本机访问按照大佬的方法改了config和index.html

bsakaguchi commented

Author

Owner

@yimisiyang commented on GitHub (Feb 20, 2025):

远程IP可以访问了。我的后台启动命令如下：

ktransformers --model_path /data/model/models--deepseek-ai--DeepSeek-R1/snapshots/8a58a132790c9935686eb97f042afa8013451c9f/ --gguf_path /data/gguf_model/DeepSeek-R1-Q4_K_M --optimize_config_path /data/ktransformers/ktransformers/optimize/optimize_rules/DeepSeek-R1-Chat.yaml --cpu_infer 30 --max_new_tokens 1000 --host 172.17.110.105 --web True --port 9016

~/website/dist/config.js 配置如下,这里的port端口没有用到：

window.configWeb = {
    apiUrl: 'http://localhost:9016/v1',
    port: 9016,
  };

~/website/public/config.js配置如下，这里的port端口没有用到：

window.configWeb = {
    //apiUrl: 'http://119.255.238.12:15670/v1',
    apiUrl: 'http://172.17.110.105:9016/v1',
    port: 9016,
  };
~

~/website/vue.config.js配置如下：

proxy: {
        '/api': {
         // target: 'http://localhost:9016/v1', // 你的后端服务器地址
          target: 'http://172.17.110.105:9016/v1', // 你的后端服务器地址
          changeOrigin: true, // 是否允许跨域
          pathRewrite: {
            '/api': '' // 将 '/api' 前缀替换为空，如果你的后端不需要这个前缀
          }
        }
      }

最后为了解决其它电脑能够IP访问需要解决跨域问题，修改源码中的~/website/src/api/api-client.ts 中的 withCredentials: true 值为 false 然后启动前后端即可。

但是现在有个问题就是只能回答一个问题，不能连续对话。有没有其他人遇到的？

@yimisiyang commented on GitHub (Feb 20, 2025): 远程IP可以访问了。我的后台启动命令如下： ``` ktransformers --model_path /data/model/models--deepseek-ai--DeepSeek-R1/snapshots/8a58a132790c9935686eb97f042afa8013451c9f/ --gguf_path /data/gguf_model/DeepSeek-R1-Q4_K_M --optimize_config_path /data/ktransformers/ktransformers/optimize/optimize_rules/DeepSeek-R1-Chat.yaml --cpu_infer 30 --max_new_tokens 1000 --host 172.17.110.105 --web True --port 9016 ``` ~/website/dist/config.js 配置如下,这里的port端口没有用到： ``` window.configWeb = { apiUrl: 'http://localhost:9016/v1', port: 9016, }; ``` ~/website/public/config.js配置如下，这里的port端口没有用到： ``` window.configWeb = { //apiUrl: 'http://119.255.238.12:15670/v1', apiUrl: 'http://172.17.110.105:9016/v1', port: 9016, }; ~ ``` ~/website/vue.config.js配置如下： ``` proxy: { '/api': { // target: 'http://localhost:9016/v1', // 你的后端服务器地址 target: 'http://172.17.110.105:9016/v1', // 你的后端服务器地址 changeOrigin: true, // 是否允许跨域 pathRewrite: { '/api': '' // 将 '/api' 前缀替换为空，如果你的后端不需要这个前缀 } } } ``` 最后为了解决其它电脑能够IP访问需要解决跨域问题，修改源码中的~/website/src/api/api-client.ts 中的 `withCredentials: true` 值为 `false` 然后启动前后端即可。 **但是现在有个问题就是只能回答一个问题，不能连续对话。有没有其他人遇到的？**

bsakaguchi commented

Author

Owner

@DengxiaoHong999 commented on GitHub (Feb 20, 2025):

远程IP可以访问了。我的后台启动命令如下：
ktransformers --model_path /data/model/models--deepseek-ai--DeepSeek-R1/snapshots/8a58a132790c9935686eb97f042afa8013451c9f/ --gguf_path /data/gguf_model/DeepSeek-R1-Q4_K_M --optimize_config_path /data/ktransformers/ktransformers/optimize/optimize_rules/DeepSeek-R1-Chat.yaml --cpu_infer 30 --max_new_tokens 1000 --host 172.17.110.105 --web True --port 9016
~/website/dist/config.js 配置如下,这里的port端口没有用到：
window.configWeb = {
    apiUrl: 'http://localhost:9016/v1',
    port: 9016,
  };
~/website/public/config.js配置如下，这里的port端口没有用到：
window.configWeb = {
    //apiUrl: 'http://119.255.238.12:15670/v1',
    apiUrl: 'http://172.17.110.105:9016/v1',
    port: 9016,
  };
~      
~/website/vue.config.js配置如下：
proxy: {
        '/api': {
         // target: 'http://localhost:9016/v1', // 你的后端服务器地址
          target: 'http://172.17.110.105:9016/v1', // 你的后端服务器地址
          changeOrigin: true, // 是否允许跨域
          pathRewrite: {
            '/api': '' // 将 '/api' 前缀替换为空，如果你的后端不需要这个前缀
          }
        }
      }
最后为了解决其它电脑能够IP访问需要解决跨域问题，修改源码中的~/website/src/api/api-client.ts 中的 withCredentials: true 值为 false 然后启动前后端即可。

但是现在有个问题就是只能回答一个问题，不能连续对话。有没有其他人遇到的？

我按照这个改了，局域网确实能访问了，但是对话还是request error

@DengxiaoHong999 commented on GitHub (Feb 20, 2025): > 远程IP可以访问了。我的后台启动命令如下： > > ``` > ktransformers --model_path /data/model/models--deepseek-ai--DeepSeek-R1/snapshots/8a58a132790c9935686eb97f042afa8013451c9f/ --gguf_path /data/gguf_model/DeepSeek-R1-Q4_K_M --optimize_config_path /data/ktransformers/ktransformers/optimize/optimize_rules/DeepSeek-R1-Chat.yaml --cpu_infer 30 --max_new_tokens 1000 --host 172.17.110.105 --web True --port 9016 > ``` > > ~/website/dist/config.js 配置如下,这里的port端口没有用到： > > ``` > window.configWeb = { > apiUrl: 'http://localhost:9016/v1', > port: 9016, > }; > ``` > > ~/website/public/config.js配置如下，这里的port端口没有用到： > > ``` > window.configWeb = { > //apiUrl: 'http://119.255.238.12:15670/v1', > apiUrl: 'http://172.17.110.105:9016/v1', > port: 9016, > }; > ~ > ``` > > ~/website/vue.config.js配置如下： > > ``` > proxy: { > '/api': { > // target: 'http://localhost:9016/v1', // 你的后端服务器地址 > target: 'http://172.17.110.105:9016/v1', // 你的后端服务器地址 > changeOrigin: true, // 是否允许跨域 > pathRewrite: { > '/api': '' // 将 '/api' 前缀替换为空，如果你的后端不需要这个前缀 > } > } > } > ``` > > 最后为了解决其它电脑能够IP访问需要解决跨域问题，修改源码中的~/website/src/api/api-client.ts 中的 `withCredentials: true` 值为 `false` 然后启动前后端即可。 > > **但是现在有个问题就是只能回答一个问题，不能连续对话。有没有其他人遇到的？** <img width="134" alt="Image" src="https://github.com/user-attachments/assets/88747b79-a3dc-4449-8cea-d7f05d27f821" /> 我按照这个改了，局域网确实能访问了，但是对话还是request error <img width="134" alt="Image" src="https://github.com/user-attachments/assets/c09deb51-97cc-4539-8b70-b68fbf3d218e" />

bsakaguchi commented

Author

Owner

@DengxiaoHong999 commented on GitHub (Feb 20, 2025):

应该是这个地方有问题？

@DengxiaoHong999 commented on GitHub (Feb 20, 2025): ![Image](https://github.com/user-attachments/assets/dabfcd4a-1890-405c-b2a7-73eee7dba76e) 应该是这个地方有问题？

bsakaguchi commented

Author

Owner

@yimisiyang commented on GitHub (Feb 20, 2025):

不能连续对话，感觉前端代码有问题，如果可以的话直接部署一个 openwebui 。然后把后端生成的URL 给进去就可以直接多轮对话，我这边亲侧可行，我输入的是 http://172.17.110.105:9016/v1 , 密钥没有随便填就行

@yimisiyang commented on GitHub (Feb 20, 2025): 不能连续对话，感觉前端代码有问题，如果可以的话直接部署一个 **openwebui** 。然后把后端生成的URL 给进去就可以直接多轮对话，我这边亲侧可行，我输入的是 `http://172.17.110.105:9016/v1` , 密钥没有随便填就行

bsakaguchi commented

Author

Owner

@ArSrNa commented on GitHub (Feb 20, 2025):

不能连续对话，感觉前端代码有问题，如果可以的话直接部署一个 openwebui 。然后把后端生成的URL 给进去就可以直接多轮对话，我这边亲侧可行，我输入的是 http://172.17.110.105:9016/v1 , 密钥没有随便填就行

v0.2.0的版本用OpenWebui请求获取openai标准Model的接口404，ollama的也不行，v0.2.1的启用WebUI有问题

@ArSrNa commented on GitHub (Feb 20, 2025): > 不能连续对话，感觉前端代码有问题，如果可以的话直接部署一个 **openwebui** 。然后把后端生成的URL 给进去就可以直接多轮对话，我这边亲侧可行，我输入的是 `http://172.17.110.105:9016/v1` , 密钥没有随便填就行 v0.2.0的版本用OpenWebui请求获取openai标准Model的接口404，ollama的也不行，v0.2.1的启用WebUI有问题

bsakaguchi commented

Author

Owner

@maaaxinfinity commented on GitHub (Feb 20, 2025):

不能连续对话，感觉前端代码有问题，如果可以的话直接部署一个 openwebui 。然后把后端生成的URL 给进去就可以直接多轮对话，我这边亲侧可行，我输入的是 http://172.17.110.105:9016/v1 , 密钥没有随便填就行

v0.2.0的版本用OpenWebui请求获取openai标准Model的接口404，ollama的也不行，v0.2.1的启用WebUI有问题

我main分支最新编译的，dify对接没有问题但是api在使用时出现了core dumped #505

@maaaxinfinity commented on GitHub (Feb 20, 2025): > > 不能连续对话，感觉前端代码有问题，如果可以的话直接部署一个 **openwebui** 。然后把后端生成的URL 给进去就可以直接多轮对话，我这边亲侧可行，我输入的是 `http://172.17.110.105:9016/v1` , 密钥没有随便填就行 > > v0.2.0的版本用OpenWebui请求获取openai标准Model的接口404，ollama的也不行，v0.2.1的启用WebUI有问题我main分支最新编译的，dify对接没有问题但是api在使用时出现了core dumped #505

bsakaguchi commented

Author

Owner

@ArSrNa commented on GitHub (Feb 20, 2025):

还有个问题你发现了么使用webUI对话没有思考过程 think标签都是空的

启动的时候加上--force-think true看看，localchat能思考，但是WebUI我没有办法对接，用fastapi在apifox请求能够思考

@ArSrNa commented on GitHub (Feb 20, 2025): > 还有个问题你发现了么使用webUI对话没有思考过程 think标签都是空的启动的时候加上`--force-think true`看看，localchat能思考，但是WebUI我没有办法对接，用fastapi在apifox请求能够思考

bsakaguchi commented

Author

Owner

@maaaxinfinity commented on GitHub (Feb 20, 2025):

webui只用改 config.js就能跑了

我dify的配置 apikey随便写

@maaaxinfinity commented on GitHub (Feb 20, 2025): webui只用改 config.js就能跑了 ![Image](https://github.com/user-attachments/assets/ca22f70b-4ed7-493c-a893-044a2f375873) 我dify的配置 apikey随便写

bsakaguchi commented