通过lmstdio使用本地大模型

引子 趁着国补整了个macmini。这玩意儿16g内存,用来跑大模型再适合不过了。看了一个up主的评测,跑qwen2.5的140亿参数的模型还是挺顺畅的。 下载lmstdio 去到官网下载即可LM Studio Discover, download, and run local LLMs 安装模型之手动安装 lmstdio自带了下载模型的功能。但是俺的不好用,俺选择了手动安装。 下载模型 去到这个网站Hugging Face – The AI community building the future. 这里演示qwen2.5的模型,俺选择的是这个Qwen/Qwen2.5-Coder-14B-Instruct-GGUF · Hugging Face 把他下载下来,右边有个下载按钮看到没,点击就行啦。 使用aria2c下载,多线程分段下载 aria2c -x 16 -s 16 -o filename url 给模型一个家 根据官方文档,模型应该这么放作者/模型名字/模型 所以俺的文件应该长这样:Qwen/Qwen2.5-Coder-14B-Instruct-GGUF/qwen2.5-coder-14b-instruct-q4_k_m.gguf 加载模型 修改模型目录 不出意外,你下载的模型会显示出来 点击加载模型,就可以愉快的使用啦 提示词 lmstdio预设提示词 开启这个功能需要使用高级用户模式,右下角点击Power User即可变为高级用户模式 在右上角你就可以看到预设啦 现成的提示词 AiShort(ChatGPT Shortcut)-简单易用的 AI 快捷指令表,让生产力倍增! | AiShort(ChatGPT Shortcut)-AI Prompt Management,Productivity Tool webui搭建 开启api 开启api需要使用开发者模式,右下角点击developer即可变为开发者模式 在左边找到终端的图标,进去点点配置 如果你要允许局域网内访问需要开启俺框住的这两个选项哦 webui搭建 lmstdio支持类似于openai的api,俺使用了open webui来做webui 咱们不需要Ollama,只使用chatgptapi,用下面这个命令就好啦,key不用填 docker run -d -p 3000:8080 -e OPENAI_API_KEY=none -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main lmstdio不能用key,有点麻烦,后面要禁止1234端口被其他用户访问。 搭建完成后访问3000端口开始配置吧。 webui添加模型 api配置 管理员设置->外部连接->配置openai api 配置api 值得注意的是这个v1,密钥不用管 模型配置 按理来说他会自动探索所有模型,但是俺这个他好像不能探测 去lmstdio中复制这个模型的id 到上一步webui的api配置中添加模型id即可 如图,记得保存 到这里你就可以愉快的使用啦 安全相关 禁止所有ip访问1234端口即可 # 创建规则文件 sudo nano /etc/pf-en1.conf # 阻止所有流量访问 en1 的 1234 端口 block in quick on en1 proto tcp from any to any port 1234 # 验证规则文件 sudo pfctl -vnf /etc/pf-en1.conf # 让配置文件生效 sudo pfctl -f /etc/pf-en1.conf # 查看规则,确定是否生效 sudo pfctl -sr 参考 LM Studio Discover, download, and run local LLMs Hugging Face – The AI community building the future. 🏡 Home | Open WebUI

2024-12-08 · 1 分钟 · ziwindlu · 源笔记:04-Solutions/通过lmstdio使用本地大模型.md