<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/"><channel><title>AI on ziwindlu 的博客</title><link>https://ziwindlu.github.io/tags/ai/</link><description>Recent content in AI on ziwindlu 的博客</description><generator>Hugo</generator><language>zh-CN</language><lastBuildDate>Sun, 08 Dec 2024 00:00:00 +0800</lastBuildDate><atom:link href="https://ziwindlu.github.io/tags/ai/index.xml" rel="self" type="application/rss+xml"/><item><title>通过lmstdio使用本地大模型</title><link>https://ziwindlu.github.io/posts/lm-studio-local-llm/</link><pubDate>Sun, 08 Dec 2024 00:00:00 +0800</pubDate><guid>https://ziwindlu.github.io/posts/lm-studio-local-llm/</guid><description>&lt;h2 id="引子"&gt;引子&lt;/h2&gt;
&lt;p&gt;趁着国补整了个macmini。这玩意儿16g内存，用来跑大模型再适合不过了。看了一个up主的评测，跑qwen2.5的140亿参数的模型还是挺顺畅的。&lt;/p&gt;
&lt;h2 id="下载lmstdio"&gt;下载lmstdio&lt;/h2&gt;
&lt;p&gt;去到官网下载即可&lt;a href="https://lmstudio.ai/"&gt;LM Studio Discover, download, and run local LLMs&lt;/a&gt;&lt;/p&gt;
&lt;h2 id="安装模型之手动安装"&gt;安装模型之手动安装&lt;/h2&gt;
&lt;p&gt;lmstdio自带了下载模型的功能。但是俺的不好用，俺选择了手动安装。&lt;/p&gt;
&lt;h3 id="下载模型"&gt;下载模型&lt;/h3&gt;
&lt;p&gt;去到这个网站&lt;a href="https://huggingface.co"&gt;Hugging Face – The AI community building the future.&lt;/a&gt;
这里演示qwen2.5的模型，俺选择的是这个&lt;a href="https://huggingface.co/Qwen/Qwen2.5-Coder-14B-Instruct-GGUF"&gt;Qwen/Qwen2.5-Coder-14B-Instruct-GGUF · Hugging Face&lt;/a&gt;
&lt;img alt="image.png" loading="lazy" src="https://ziwindlu.github.io/images/image_1733577151558_0.png"&gt;
把他下载下来，右边有个下载按钮看到没，点击就行啦。
使用&lt;code&gt;aria2c&lt;/code&gt;下载，多线程分段下载&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre tabindex="0" class="chroma"&gt;&lt;code class="language-shell" data-lang="shell"&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;aria2c -x &lt;span class="m"&gt;16&lt;/span&gt; -s &lt;span class="m"&gt;16&lt;/span&gt; -o filename url
&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;h3 id="给模型一个家"&gt;给模型一个家&lt;/h3&gt;
&lt;p&gt;根据官方文档，模型应该这么放&lt;code&gt;作者/模型名字/模型&lt;/code&gt;
所以俺的文件应该长这样:&lt;code&gt;Qwen/Qwen2.5-Coder-14B-Instruct-GGUF/qwen2.5-coder-14b-instruct-q4_k_m.gguf&lt;/code&gt;&lt;/p&gt;
&lt;h2 id="加载模型"&gt;加载模型&lt;/h2&gt;
&lt;p&gt;修改模型目录
&lt;img alt="image.png" loading="lazy" src="https://ziwindlu.github.io/images/image_1733624850912_0.png"&gt;
不出意外，你下载的模型会显示出来
点击加载模型，就可以愉快的使用啦
&lt;img alt="image.png" loading="lazy" src="https://ziwindlu.github.io/images/image_1733624982979_0.png"&gt;&lt;/p&gt;
&lt;h2 id="提示词"&gt;提示词&lt;/h2&gt;
&lt;h3 id="lmstdio预设提示词"&gt;lmstdio预设提示词&lt;/h3&gt;
&lt;p&gt;开启这个功能需要使用高级用户模式，右下角点击&lt;code&gt;Power User&lt;/code&gt;即可变为高级用户模式
&lt;img alt="image.png" loading="lazy" src="https://ziwindlu.github.io/images/image_1733626298176_0.png"&gt;
在右上角你就可以看到预设啦
&lt;img alt="image.png" loading="lazy" src="https://ziwindlu.github.io/images/image_1733626415579_0.png"&gt;
&lt;img alt="image.png" loading="lazy" src="https://ziwindlu.github.io/images/image_1733626392507_0.png"&gt;&lt;/p&gt;
&lt;h3 id="现成的提示词"&gt;现成的提示词&lt;/h3&gt;
&lt;p&gt;&lt;a href="https://www.aishort.top/"&gt;AiShort(ChatGPT Shortcut)-简单易用的 AI 快捷指令表，让生产力倍增！ | AiShort(ChatGPT Shortcut)-AI Prompt Management,Productivity Tool&lt;/a&gt;&lt;/p&gt;
&lt;h2 id="webui搭建"&gt;webui搭建&lt;/h2&gt;
&lt;h3 id="开启api"&gt;开启api&lt;/h3&gt;
&lt;p&gt;开启api需要使用开发者模式，右下角点击&lt;code&gt;developer&lt;/code&gt;即可变为开发者模式
在左边找到终端的图标，进去点点配置
&lt;img alt="image.png" loading="lazy" src="https://ziwindlu.github.io/images/image_1733633547131_0.png"&gt;&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;如果你要允许局域网内访问需要开启俺框住的这两个选项哦&lt;/p&gt;
&lt;/blockquote&gt;
&lt;h3 id="webui搭建-1"&gt;webui搭建&lt;/h3&gt;
&lt;p&gt;lmstdio支持类似于openai的api，俺使用了open webui来做webui
咱们不需要Ollama，只使用chatgptapi，用下面这个命令就好啦，key不用填&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre tabindex="0" class="chroma"&gt;&lt;code class="language-shell" data-lang="shell"&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;docker run -d -p 3000:8080 -e &lt;span class="nv"&gt;OPENAI_API_KEY&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;none -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;lmstdio不能用key，有点麻烦，后面要禁止1234端口被其他用户访问。
搭建完成后访问3000端口开始配置吧。&lt;/p&gt;
&lt;h3 id="webui添加模型"&gt;webui添加模型&lt;/h3&gt;
&lt;h4 id="api配置"&gt;api配置&lt;/h4&gt;
&lt;p&gt;管理员设置-&amp;gt;外部连接-&amp;gt;配置openai api
&lt;img alt="image.png" loading="lazy" src="https://ziwindlu.github.io/images/image_1733634405915_0.png"&gt;
配置api
&lt;img alt="image.png" loading="lazy" src="https://ziwindlu.github.io/images/image_1733634456451_0.png"&gt;&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;值得注意的是这个v1，密钥不用管&lt;/p&gt;
&lt;/blockquote&gt;
&lt;h4 id="模型配置"&gt;模型配置&lt;/h4&gt;
&lt;p&gt;按理来说他会自动探索所有模型，但是俺这个他好像不能探测
去lmstdio中复制这个模型的id
&lt;img alt="image.png" loading="lazy" src="https://ziwindlu.github.io/images/image_1733634549634_0.png"&gt;
到上一步webui的api配置中添加模型id即可
&lt;img alt="image.png" loading="lazy" src="https://ziwindlu.github.io/images/image_1733634684815_0.png"&gt;
如图，记得保存
到这里你就可以愉快的使用啦&lt;/p&gt;
&lt;h3 id="安全相关"&gt;安全相关&lt;/h3&gt;
&lt;p&gt;禁止所有ip访问1234端口即可&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre tabindex="0" class="chroma"&gt;&lt;code class="language-shell" data-lang="shell"&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="c1"&gt;# 创建规则文件&lt;/span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;sudo nano /etc/pf-en1.conf
&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="c1"&gt;# 阻止所有流量访问 en1 的 1234 端口&lt;/span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;block in quick on en1 proto tcp from any to any port &lt;span class="m"&gt;1234&lt;/span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="c1"&gt;# 验证规则文件&lt;/span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;sudo pfctl -vnf /etc/pf-en1.conf
&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="c1"&gt;# 让配置文件生效&lt;/span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;sudo pfctl -f /etc/pf-en1.conf
&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="c1"&gt;# 查看规则，确定是否生效&lt;/span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;sudo pfctl -sr
&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;h2 id="参考"&gt;参考&lt;/h2&gt;
&lt;p&gt;&lt;a href="https://lmstudio.ai/"&gt;LM Studio Discover, download, and run local LLMs&lt;/a&gt;
&lt;a href="https://huggingface.co"&gt;Hugging Face – The AI community building the future.&lt;/a&gt;
&lt;a href="https://docs.openwebui.com/"&gt;🏡 Home | Open WebUI&lt;/a&gt;&lt;/p&gt;</description></item></channel></rss>