跳到主要内容

🦙 通过 Ollama 在自己的电脑上运行 OpenThai

所有 OpenThai 模型都可以通过 Ollama 免费下载并在自己的电脑上运行——无需注册、无需 API key、下载完成后无需联网，您的数据一个字节都不会离开本机。

Ollama 上的全部 OpenThai 模型ollama.com/openthai

1. 安装 Ollama​

下载适用于 macOS、Windows 或 Linux 的安装包，按常规方式安装。

下载 Ollamaollama.com/download

2. 选择模型，一条命令运行​

打开终端（Windows 上为 PowerShell），输入所需模型的命令——首次运行会自动下载模型。

模型适用场景最低 RAM/VRAM命令
OpenThai 1.5 7B普通笔记本上的泰语对话8 GBollama run openthai/openthai-1.5-7b
OpenThai R1 32B推理、数学、编程24 GBollama run openthai/openthai-r1-32b
OpenThai 1.6 72B最高质量的通用任务48 GBollama run openthai/openthai-1.6-72b
OpenThai 2.0 Legal 30B泰国法律、条文引用24 GBollama run hf.co/iapp/openthai2.0-legal-thaillm-nemotron-3-nano-30b-a3b-GGUF:Q4_K_M

示例：

ollama run openthai/openthai-r1-32b
>>> 商店先打八折，再在折后价上打八五折。原价 2,500 泰铢，最终要付多少？

R1 模型会先展示逐步推理过程再给出答案；2.0 Legal 模型会在回答中引用法律名称和条文（มาตรา）。

3. 从您自己的代码调用（API）​

Ollama 在 http://localhost:11434 提供与 OpenAI 兼容的 API——现有的 OpenAI SDK 代码只需修改 base_url 即可直接使用。

from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

r = client.chat.completions.create(
    model="openthai/openthai-r1-32b",
    messages=[{"role": "user", "content": "总结在本地运行大模型的优势"}],
)
print(r.choices[0].message.content)

需要原始模型文件？​

各量化级别（Q4_K_M / Q5_K_M / Q8_0）的官方 GGUF 文件均可在 Hugging Face 下载，适用于 llama.cpp、LM Studio 等工具。

全部官方 GGUF 文件huggingface.co/openthaigpt

说明​

  • 默认量化级别为 Q4_K_M——体积与质量的最佳平衡。如果内存充足，可使用 Hugging Face 上的 Q8_0 文件获得更高质量。
  • ⚠️ 2.0 Legal 模型的输出仅供决策参考，不构成法律意见——引用的条文请务必与现行法律文本核对。
  • 在 Thai LLM Leaderboard 上比较各模型得分
  • 遇到问题？欢迎在 Discord 提问