在本地电脑部署AI大模型

软件：

ollama: https://ollama.com/
docker: https://www.docker.com/
open-webui: https://github.com/open-webui/open-webui

1. 下载安装ollama. https://ollama.com/download

# ollama -h
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

2. 安装本地模型. https://ollama.com/search

qwen2: 来自Alibaba的千问模型，对中文支持比较好。
qwen2.5-coder: 用于代码生成，代码推理及代码修复。
llama3.2: Meta公司最新推出的大型语言模型, 擅长文本摘要、情感分析、代码生成等任务，但有限支持中文。
gemma: google开源的大语言模型
根据需求下载特定模型，及参数版本。参数量越大对电脑配置要求越好，也越聪明。普通7B参数量即可。

本地终端运行命令下载及运行大模型

# ollama run qwen2.5
pulling manifest
pulling 2bada8a74506... 100% ▕████████████████████████████████████████████████████████▏ 4.7 GB
pulling 66b9ea09bd5b... 100% ▕████████████████████████████████████████████████████████▏   68 B
pulling eb4402837c78... 100% ▕████████████████████████████████████████████████████████▏ 1.5 KB
pulling 832dd9e00a68... 100% ▕████████████████████████████████████████████████████████▏  11 KB
pulling 2f15b3218f05... 100% ▕████████████████████████████████████████████████████████▏  487 B
verifying sha256 digest
writing manifest
success
>>> 中国有几个省
截至2023年，中国的省级行政区划包括34个省份。具体划分如下：

- 23个省：如广东、江苏、山东等；
- 5个自治区：内蒙古自治区、广西壮族自治区、西藏自治区、宁夏回族自治区和新疆维吾尔自治区；
- 4个直辖市：北京、天津、上海、重庆；
- 2个特别行政区：香港特别行政区、澳门特别行政区；
- 1个省级行政单位：海南省，其中三沙市为地级市。

这种划分是中华人民共和国现行的省份及行政区划形式。

运行完成后，即可与模型对话。
模型本地位置：默认保存在用户Home目录/.ollama/models(windows 为C:\Users<用户名>.ollama\models)，可通过设置环境变量 OLLAMA_MODELS更改模型的保存路径。

3. docker部署open web ui提供聊天界面，体验类似chat gpt.

https://github.com/open-webui/open-webui

3.1 如果ollama 运行在本机：

1	docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

3.2 如果ollama 运行在不同机器：

1	docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://<remote-server-ip>:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

其中OLLAMA_BASE_URL为ollama server地址，本地默认为：127.0.0.1:11434

3.3 访问open-webui，通过浏览器与模型对话

访问地址： http://localhost:3000

open webui

open-webui中可以管理用户，同时注意将更新模型的可见性，默认是不可见的，即只有管理员可以看到。

4. 补充：open-webui库中支持一键运行ollama和open-webui

https://raw.githubusercontent.com/open-webui/open-webui/refs/heads/main/docker-compose.yaml

1	docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

实战

MiGPT: 将小爱同学接入ollama本地大模型（也支持接入线上模型ChatGPT,豆包等），变得更智能。
https://github.com/idootop/mi-gpt?tab=readme-ov-file