好的,我继续来更新了。因为kt是安装在win的wsl2下的ubuntu下的,嵌套了两层壳子,依然有这速度,我其实挺满意的,其实Ubuntu下也是要用一层anaconda或者其他什么的虚拟环境的壳子来构建kt。
而kt给我的感觉就是一个纯粹的ims或者vlm或者ollama的ai装载库,只是他的优化更牛,但是缺点也很明显。
1.kt不支持多路并发
2.kt没有图形界面ui,比起ims来说,构建的门槛太高了
3.win下wsl2本身就是个虚拟环境,如果还要再安装docker,docker下再安装anythingllm web或者openwebai,实在太拖累
4.kt不支持载入ds的同时再载入nomic text或者bgem3这些嵌入ai作为知识库向量化的工具
屁话了这么多,我这次更新想做的只有一件事,让wsl下的kt deepseek可以在局域网内调用api。而上次发出来的载入ds的kt命令有点问题,嗯,用了127.0.0.1的ip,而wsl下一个虚拟环境一个ip,意思是wsl下的Ubuntu和docker都有独立的虚拟ip,172.XX.XX.XX什么的。不做映射端口,导致局域网内无法穿透。我查了半天网上也没有wsl2下安装kt做局域网api调用的案例,只能找大牛来帮忙了。方法如下:
1.wsl setting中设置网络模式为nat,主机地址环回记得选关闭,尽力进行DNS分析关闭,其他都选打开。
2.win防火墙设置入站规则,6006端口任意程序接入。
3.进入wsl2,cmd或者powershell命令行输入:
$wsl_ip = (wsl hostname -I).Trim()
netsh interface portproxy add v4tov4 listenport=6006 listenaddress=0.0.0.0 connectport=6006 connectaddress=$wsl_ip
#将wsl环境下任何ip的6006端口,都映射为win系统的0.0.0.0的6006端口。每次重启电脑后都要在wsl2下输入这些。
4.进入wsl2下的ubuntu系统,激活kt框架,输入命令:
export HF_ENDPOINT="
https://hf-mirror.com"
PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True ktransformers \
--model_path deepseek-ai/DeepSeek-R1 \
--gguf_path /home/dministrator/models/DeepSeek-R1-Q4_K_M \
--max_new_tokens 6192 \
--cpu_infer 91 \
--cache_q4 true \
--temperature 0.6 \
--top_p 0.95 \
--host 0.0.0.0 \
--port 6006
5.在powershell中输入ipconfig,查看本机ip4地址192.168.0.XX。
6.然后在本机也好,局域网内其他机器也好,用任何chat客户端,都可以选择类似openai的方式调用了
7.然后向量化模型,那就只能另一台电脑或者服务器上安装ims载入bgem3或者nomic text来实现了。
