前情提要

文档中提到到 192.168.100.18是宿主机ip地址

提前安装docker程序

yum install docker -y

下载安装ollama

# 地址地址：https://ollama.com/download/linux

curl -fsSL https://ollama.com/install.sh | sh

安装openWebUi

docker run -d -p 3000:8080  --add-host=host.docker.internal:192.168.100.18 -v open-webui:/app/backend/data --name open-webui --restart always  registry.cn-shenzhen.aliyuncs.com/funet8/open-webui:main

选择大模型

ollama官方的模型仓库参见这里：https://ollama.com/library

阿里巴巴的大模型：
ollama run  qwen
ollama run qwen:14b
ollama run qwen:32b
ollama run qwen:72b
ollama run qwen:110b   # 110b 表示该模型包含了 1100 亿（110 billion）个参数

脸书大模型：
ollama run llama2
ollama run llama3
ollama run llama3:8b

谷歌的大模型：
ollama run gemma

微软的大模型
ollama run phi3


显示所有模型
# ollama list 

删除模型 
# ollama rm llama3:latest

例如：qwen:32b模型

访问：https://ollama.com/library?q=qwen

服务端运行：

ollama run qwen:32b

关注作者