Ollama：本地大模型运行完全指南

# 下载指定版本
ollama pull llama3.2:3b      # 3B 参数版本（小内存）
ollama pull llama3.2:11b     # 11B 参数版本
ollama pull llama3.2:90b     # 90B 参数版本（需要大量内存）

# 下载多模态模型
ollama pull llava
ollama pull llava-llama3

# 查看可用的模型标签
ollama show llama3.2

# 创建 Modelfile
cat > Modelfile << 'EOF'
FROM llama3.2

# 设置系统提示词
SYSTEM """
你是一个专业的 Python 程序员助手。
你擅长编写高质量、可维护的 Python 代码。
请用中文回答。
"""

# 调整参数
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER num_ctx 4096

# 设置模板
TEMPLATE """
<s>[INST] <<SYS>>
{{ .System }}
<</SYS>>
{{ .Prompt }} [/INST]
"""
EOF

# 创建模型
ollama create my-python-assistant -f Modelfile

# 使用中文优化的 Llama
cat > Modelfile << 'EOF'
FROM llama3.2

SYSTEM """
你是一个乐于助人的 AI 助手。
你擅长用简洁清晰的语言解释复杂概念。
请始终用中文回答。
"""

PARAMETER temperature 0.7
PARAMETER num_ctx 4096
EOF

ollama create my-assistant -f Modelfile
ollama run my-assistant

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # 占位符，Ollama 不需要真实 key
)

response = client.chat.completions.create(
    model="llama3.2",
    messages=[
        {"role": "user", "content": "你好"}
    ]
)

print(response.choices[0].message.content)

# 运行支持 Agent 的模型
ollama run llama3.2

# 在对话中使用 /agent 命令
>>> /agent
Available agents:
1. reasoning - Deep research and analysis
2. assistant - General purpose assistant

Select agent (1-2): 1

# Agent 会自动规划并执行任务

# 创建包含 Tool 的 Modelfile
cat > Modelfile << 'EOF'
FROM llama3.2

# 定义可用工具
TOOL """
{
  "type": "function",
  "function": {
    "name": "calculate",
    "description": "计算数学表达式",
    "parameters": {
      "type": "object",
      "properties": {
        "expression": {
          "type": "string",
          "description": "要计算的数学表达式"
        }
      }
    }
  }
}
"""

SYSTEM """
你是一个数学助手，可以使用计算器工具。
对于复杂计算，使用 calculate 工具。
"""
EOF

ollama create math-assistant -f Modelfile
ollama run math-assistant

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llava",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "image_url", "image_url": {"url": "https://example.com/image.jpg"}},
          {"type": "text", "text": "描述这张图片"}
        ]
      }
    ]
  }'

# 使用 curl 上传本地图片
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llava",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64,$(base64 -i /path/to/image.jpg)"}},
          {"type": "text", "text": "这张图片里有什么？"}
        ]
      }
    ]
  }'

# 查看系统资源
ollama run llama3.2 --info

# 示例输出
{
  "success": true,
  "model": "llama3.2",
  "parameters": "3B",
  "size": "2.0GB",
  "gpu": "Apple M2 Pro",
  "memory": {
    "total": "32GB",
    "used": "8GB",
    "available": "24GB"
  }
}

# NVIDIA: 检查驱动
nvidia-smi

# NVIDIA: 检查 CUDA
nvcc --version

# Apple Silicon: 检查 Metal
metal --version

# 强制使用 CPU（不推荐，性能差）
CUDA_VISIBLE_DEVICES="" ollama run llama3.2

# 1. 安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh

# 2. 下载开发用模型
ollama pull llama3.2          # 通用对话
ollama pull codellama          # 代码生成
ollama pull nomic-embed-text   # 向量化

# 3. 启动 API 服务
ollama serve &

# 4. 在代码中使用

# 使用 systemd 管理服务
sudo tee /etc/systemd/system/ollama.service << 'EOF'
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=10

[Install]
WantedBy=default.target
EOF

sudo systemctl enable ollama
sudo systemctl start ollama