本地部署自托管的AI编码助手

有部分私有项目是不方便使用公网API或AI IDE来实时推理代码辅助生成的,之前一直使用ollama配合continue,模型Qwen-Coder-14B, 但continue现在商业感越来越浓,本地模型的部署配置也越藏越深。

换Tabby试试。

下载模型并运行

打开web后台进行配置,完成后可以查看模型运行状态

重点来了,tabby还能自动部署 上下文提供者来增强大型语言模型的性能。

现在回到VSCode,安装扩展 tabby

生成速度和质量还不错,意图理解也准确。

配置好之后,将tabby以服务自启动, 先修改配置 code .tabby/config.toml

然后再运行

与ollama的区别:

ollama 拉取的模型,默认为Q4_K_M量化,模型大小9G
tabby 拉取的是Q8_0量化,模型大小15G

M2 Max 32G统一内存下都能流畅运行。

原创文章,转载请注明: 转载自贝壳博客

本文链接地址: 本地部署自托管的AI编码助手

解决Trae在MacOS下开发C/C++的问题

VSCode下 C/C++插件是微软自己开发的,根据VSCode扩展商店政策,第三方Fork的VSCode项目是不允许使用的。

Trae下如果打开C/C++项目,默认会推荐安装ccls插件来支持。

Mac下使用还需要一点小改动。

首先通过brew安装ccls命令行

自动安装ccls和它的依赖比如llvm

再次通过Trae打开项目,发现仍然找不到标准头文件。

打开终端,输入命令

打印:

打开Trae,切换到扩展,点ccls的配置,点ccls.clang.extraArgs

根据前一个打印,修改这个值为:

重启Trae后,再点头文件,正常跳转

原创文章,转载请注明: 转载自贝壳博客

本文链接地址: 解决Trae在MacOS下开发C/C++的问题