跳到主要内容

🧠 OpenThaiGPT R1 32b

OpenThaiGPT R1 32b 是一款拥有 320 亿参数的先进泰语大语言模型,专注于分析思考与推理。尽管其规模不足一半,性能却超越了 DeepSeek R1 70b 和 Typhoon R1 70b 等更大规模的模型。该模型擅长需要复杂分析思考的任务,包括泰语环境下的数学、逻辑与代码编写。

下载模型

OpenThaiGPT R1 32b — Hugging Facehuggingface.co

openthaigpt/openthaigpt-r1-32b-instruct

核心亮点

  • 最先进的泰语大语言模型,在数学与逻辑推理基准测试中超越更大规模的模型
  • 具备显式推理能力,可逐步展示思考过程
  • 模型规模显著更小(32b),性能却优于 70b 级别的模型
  • 专精于泰语环境下的分析思考,包括复杂的数学与逻辑问题
  • 代码编写性能优异,泰语与英语均表现出色

基准测试结果

SkyThoughtOpenThaiGPT R1 32bDeepSeek R1 70bTyphoon R1 70b
AIME24-TH56.6733.3353.33
AIME2463.3653.3353.33
MATH500-TH83.875.481
MATH50089.488.8890.2
LiveCodeBench-TH62.1653.1547.75
LiveCodeBench69.6764.9754.79
OpenThaiEval76.0574.1777.59
平均分71.5863.3165.42

技术报告

OpenThaiGPT 1.6 与 R1 技术报告 — arXivarxiv.org

如果 OpenThaiGPT 对您的工作有所助益,敬请按以下方式引用:

@misc{yuenyong2025openthaigpt16r1thaicentric,
title={OpenThaiGPT 1.6 and R1: Thai-Centric Open Source and Reasoning Large Language Models},
author={Sumeth Yuenyong and Thodsaporn Chay-intr and Kobkrit Viriyayudhakorn},
year={2025},
eprint={2504.01789},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2504.01789},
}

使用方法

Transformers

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "openthaigpt/openthaigpt-r1-32b-instruct"

model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "กรุงเทพมหานครคืออะไร"
messages = [
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
**model_inputs,
max_new_tokens=8192,
temperature=0.6
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

vLLM

  1. 安装 vLLM(vllm-project/vllm
  2. 启动服务
vllm serve openthaigpt/openthaigpt-r1-32b-instruct --tensor-parallel-size 2
  • 注意:请将 --tensor-parallel-size 2 修改为可用 GPU 卡的数量。
  1. 执行推理(CURL 示例)
curl -X POST 'http://127.0.0.1:8000/v1/chat/completions' \
-H 'Content-Type: application/json' \
-d '{
"model": "openthaigpt/openthaigpt-r1-32b-instruct",
"messages": [
{
"role": "user",
"content": "กรุงเทพมหานครคืออะไร"
}
],
"max_tokens": 4096,
"temperature": 0.6,
"top_p": 0.95,
"top_k": 40
}'

GPU 显存需求

参数量FP 16 bits8 bits(量化)4 bits(量化)
32b64 GB32 GB16 GB

许可协议

  • 本模型可依据 Qwen2.5 许可协议的条款用于研究商业用途。详情请参阅 LICENSE 文件。

支持与联系

Disclaimer: Provided responses are not guaranteed.