使用Qwen-code连接llama.cpp的本地AI模型进行开发。
1、在node环境下安装Qwen-code
npm i -g qwen-code
2、使用llama.cpp下的llama-server.exe启动模型
llama-server.exe --models 模型路径
3、修改Qwen的配置文件,使其连接到本地模型:
模板如下:
文件路径:C:/用户/<用户名>/.qwen/settings.json
{
"env": {},
"modelProviders": {
"openai": [
{
"id": "模型id",
"name": "本地 llama.cpp 模型名字",
"baseUrl": "http://127.0.0.1:8080/v1",
"apiKey": "sk-lc-mikumodel",
"envKey": "DUMMY_API_KEY",
"generationConfig": {
"extra_body": {}
}
}
]
},
"security": {
"auth": {
"selectedType": "openai"
}
},
"model": {
"name": "模型名字"
},
"$version": 4,
"providerMetadata": {}
}
模型id需要调用:http://127.0.0.1:8080/v1/models接口获取。
浏览器输入这个地址就能够看到模型的id
4、打开项目文件夹输入:Qwen就可以调用本地模型进行开发了