软件:

1. 下载安装ollama. https://ollama.com/download

安装时,ollama默认安装在C盘,如果希望安装在其它盘,安装时可指定安装路径

1
.\OllamaSetup.exe /DIR='D:\Program Files\Ollama'

ollama 使用

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# ollama -h
Large language model runner

Usage:
ollama [flags]
ollama [command]

Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
stop Stop a running model
pull Pull a model from a registry
push Push a model to a registry
list List models
ps List running models
cp Copy a model
rm Remove a model
help Help about any command

ollama 也支持 Hugging Face 模型

1
2
3
# ollama run hf.co/{用户名}/{模型仓库}:{标签}
# #如
# ollama run hf.co/inclusionAI/Ming-Lite-Omni:latest

Ming-lite-omni 是 Ming-omni 的轻量版本,源自 Ling-lite,具有 28 亿个激活参数。它是一个统一的多模态模型,能够处理图像、文本、音频和视频,并在语音和图像生成方面表现出色。

  • PetrosStav/gemma3-tools: 基于google gemma3模型,同时支持图片识别与tools。

  • deepseek-r1: 一个开放式推理模型家族,其性能接近O3和Gemini 2.5 Pro等领先模型。

  • qwen3: 来自Alibaba的千问模型,对中文支持比较好,支持tools, thinking。

  • qwen2.5-coder: 用于代码生成,代码推理及代码修复。

  • llama4: Meta公司最新推出的大型语言模型, 擅长文本摘要、情感分析、代码生成等任务,但有限支持中文。

  • gemma3: google开源的大语言模型,当前单卡最强的模型
    根据需求下载特定模型,及参数版本。参数量越大对电脑配置要求越好,也越聪明。普通7B参数量即可。

    qwen2.5

本地终端运行命令下载及运行大模型

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# ollama run qwen2.5
pulling manifest
pulling 2bada8a74506... 100% ▕████████████████████████████████████████████████████████▏ 4.7 GB
pulling 66b9ea09bd5b... 100% ▕████████████████████████████████████████████████████████▏ 68 B
pulling eb4402837c78... 100% ▕████████████████████████████████████████████████████████▏ 1.5 KB
pulling 832dd9e00a68... 100% ▕████████████████████████████████████████████████████████▏ 11 KB
pulling 2f15b3218f05... 100% ▕████████████████████████████████████████████████████████▏ 487 B
verifying sha256 digest
writing manifest
success
>>> 中国有几个省
截至2023年,中国的省级行政区划包括34个省份。具体划分如下:

- 23个省:如广东、江苏、山东等;
- 5个自治区:内蒙古自治区、广西壮族自治区、西藏自治区、宁夏回族自治区和新疆维吾尔自治区;
- 4个直辖市:北京、天津、上海、重庆;
- 2个特别行政区:香港特别行政区、澳门特别行政区;
- 1个省级行政单位:海南省,其中三沙市为地级市。

这种划分是中华人民共和国现行的省份及行政区划形式。

运行完成后,即可与模型对话。
模型本地位置:默认保存在用户Home目录/.ollama/models(windows 为C:\Users<用户名>.ollama\models),可通过设置环境变量 OLLAMA_MODELS更改模型的保存路径。

3. docker部署open web ui提供聊天界面,体验类似chat gpt.

https://github.com/open-webui/open-webui

3.1 如果ollama 运行在本机:

1
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

3.2 如果ollama 运行在不同机器:

1
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://<remote-server-ip>:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

其中OLLAMA_BASE_URL为ollama server地址,本地默认为:127.0.0.1:11434

3.3 访问open-webui,通过浏览器与模型对话

访问地址: http://localhost:3000

open webui

  • open-webui中可以管理用户,同时注意将更新模型的可见性,默认是不可见的,即只有管理员可以看到。

4. 补充:open-webui库中支持一键运行ollama和open-webui

https://raw.githubusercontent.com/open-webui/open-webui/refs/heads/main/docker-compose.yaml

1
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

实战

MiGPT: 将小爱同学接入ollama本地大模型(也支持接入线上模型ChatGPT,豆包等),变得更智能。
https://github.com/idootop/mi-gpt?tab=readme-ov-file