本地docker启动私有大模型
- 一、最终效果
- 中英文对话
- 生成代码
- 二、资源配置
- 三、搭建步骤
- 启动docker容器
- 登录页面
- 首次登录请注册
- 登录后的效果
- 配置模型
- 尝试使用
- 选择模型选项
- 下载模型
- 选择适合的模型开始下载
- 试用效果
- 返回首页选择模型
- 中英文对话
- 生成代码
- 四、附录
- 资源监控
- 五、参考网站：
一、最终效果
中英文对话
生成代码
二、资源配置
本文选择的模型运行内存需要 4G，因此宿主机建议内存大于8G，CPU建议 6 核以上；
参考博主该mac配置可以相对流畅运行。只需要 CPU资源，不需要 GPU。
三、搭建步骤
启动docker容器
采用open-webui启动一个大模型的交互页面
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
由于ghcr.io/open-webui/open-webui:ollama是托管在境外，速度较慢，因此博主把该镜像搬迁到了阿里云。
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always registry.cn-beijing.aliyuncs.com/xihuanyuyee/xihuanyuye:open-webui-ollama
登录页面
输入地址
http://localhost:3000
首次登录请注册
登录后的效果
是不是非常酷炫，一个私有的大模型平台就似乎ok了。
配置模型
尝试使用
但是其实这时候系统还不能使用，例如我们尝试输入问题。
are u ok?
系统报错未选定模型。
选择模型选项
左上角选定模型的下拉菜单，发现为空。
下载模型
操作步骤
step1 点击用户名处，打开配置菜单
step2 点击admin panel，打开配置面板
step3 点击setting，打开配置页面tab
step4 点击 modle选项，打开模块下载页面
step5 输入模型参数版本
step6 点击下载按钮，开始下载
选择适合的模型开始下载
根据你的机器资源情况，你可以选择运行基础版的Meta Llama 3 8B或更大型的Meta Llama 3 70B，但请注意，你需要有足够的内存来在本地运行这些大语言模型。我在一台配备64 GB RAM的M1 Max上测试了Meta Llama 3 70B，性能表现非常好。
| 模型名称 | 下载版本号 | 需要内存 |
|---|---|---|
| Meta Llama 3 8B | llama3:8b | 4.7 GB |
| Meta Llama 3 70B | llama3:70b | 40 GB |
下载过程可能会根据你的网络速度耗时一些。
操作步骤
step1 输入模型版本参数llama3:8b
step2 点击下载按钮
step3 查看下载进度
亲测当前国内网络可以直接下载，如果下载失败，可以重试一下试试。
试用效果
返回首页选择模型
中英文对话
生成代码
是不是非常有成就感！大模型之路从此开启！
四、附录
资源监控
在输入交互信息hello后，监控后台资源。本机是采用了虚拟机启动，因此可以看到cpu已经满载了。响应也特别慢。
五、参考网站：
苹果Mac用户的福音：本地运行Meta Llama 3的终极指南
open-webui
