M1 Max 用 Ollama 部署 qwen 2.5 大模型的简单记录

安装 Ollama

• 官网：https://ollama.com/download
• 下载后解压缩，然后安装程序
• 按照提示，在 Mac 终端内输入命令，即可自动完成安装与配置
• 随后点击 Ollama 应用程序图标， 启动运行

安装 webui

使用 Docker 安装 open webui

1. 下载并安装 Docker：https://www.docker.com/
2. 启动并运行 Docker

我的系统是 M1 Max ，所以使用下面的终端命令进行安装：

1

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

其他系统需要参考这个项目里的说明：

等命令走完之后，在 Docker 中启动 webui

点击之后，就会出现类似 ChatGPT 一样的窗口

下载并使用通义千问 Qwen 2.5 模型

在 webui 的左上角中，搜索 qwen2.5-coder:7b ，然后点击「从 Ollama.com 拉取」

等待下载完毕后，就可以选择 Qwen 2.5 的 7b 模型。如果你想下载小一点的例如 3b 的模型，只需要把 qwen2.5-coder:7b 改成 qwen2.5-coder:3b 即可。

效果如下：

不过 7b 的模型对于 M1 Max 32G 内存的设备来说，负担还是太大了，只提问一个「你好」，回答花了 18 秒，每秒 2.27 token 数，速度太慢，并且 CPU 占用直接爆掉。