OpenThaiGPT 版本 1.0
🇹🇭 OpenThaiGPT 版本 1.0.0 是参数规模分别为 70 亿、130 亿和 700 亿的泰语大型对话模型，在 Facebook LLaMA v2 的基础上进一步开发，使其具备理解和撰写泰语的能力。代码与模型均以开源方式自由发布（Apache 2.0 License），任何人都可以在其基础上继续开发，甚至用于商业用途，从而成为面向全体泰国人的人工智能基础设施。
更多详情请参阅 OpenThaiGPT 1.0.0 (8 Apr 2024)
下载模型
- 7b - openthaigpt/openthaigpt-1.0.0-7b-chat
- 7b (GGUF) - openthaigpt/openthaigpt-1.0.0-7b-chat-gguf
- 13b - openthaigpt/openthaigpt-1.0.0-13b-chat
- 70b - openthaigpt/openthaigpt-1.0.0-70b-chat
Model Pipeline
可以通过 Google Colab 下载并使用该模型。
OpenThaiGPT 1.0.0 Model Pipeline — 在 Google Colab 中打开colab.research.google.com
主要亮点
- 最先进的开源泰语大语言模型，与其他开源泰语模型相比，在泰语考试中取得最高的平均分
- 全球首个参数规模高达 700 亿的开源泰语模型
- 支持连续多轮对话（Multi-turn Conversation）
- 模型能够在长提示词中高效检索信息并抽取答案（非常适合用于 RAG）
- 回答速度快，得益于在模型词表中新增了多达 10,000 个常用泰语词
- 在超过 650 亿词的泰语数据上进行预训练，并对训练所用的重复泰语数据进行了去重处理（Deduplicated Dataset），同时在超过 100 万条样本上进行微调，以回答各类泰语通用问题
- 能够理解和处理长达 4096 词的泰语上下文，从而给出细致而复杂的建议
泰语能力（通过参加各类知识领域的泰语考试进行测评）
| Exams | OTG 7b (Aug 2023) | OTG 13b (Dec 2023) | OTG 7b (April 2024) | OTG 13b (April 2024) | OTG 70b (April 2024) | SeaLLM 7b v1 | SeaLLM 7b v2 | SeaLion 7b | WanchanGLM 7b | Sailor-7b-Chat | TyphoonGPT 7b Instruct | GPT3.5 | GPT4 | Gemini Pro | Gemini 1.5 | Claude 3 Haiku | Claude 3 Sonnet | Claude 3 Opus |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| A-Level | 17.50% | 34.17% | 25.00% | 30.83% | 45.83% | 18.33% | 34.17% | 21.67% | 17.50% | 40.00% | 37.50% | 38.33% | 65.83% | 56.67% | 55.83% | 58.33% | 59.17% | 77.50% |
| TGAT | 24.00% | 22.00% | 22.00% | 36.00% | 36.00% | 14.00% | 28.00% | 24.00% | 16.00% | 34.00% | 30.00% | 28.00% | 44.00% | 22.00% | 28.00% | 36.00% | 34.00% | 46.00% |
| TPAT1 | 22.50% | 47.50% | 42.50% | 27.50% | 62.50% | 22.50% | 27.50% | 22.50% | 17.50% | 40.00% | 47.50% | 45.00% | 52.50% | 52.50% | 50.00% | 52.50% | 50.00% | 62.50% |
| thai_investment_consultant_exams | 8.00% | 28.00% | 76.00% | 84.00% | 68.00% | 16.00% | 28.00% | 24.00% | 16.00% | 24.00% | 32.00% | 40.00% | 64.00% | 52.00% | 32.00% | 44.00% | 64.00% | 72.00% |
| facebook_beleble_tha_200 | 25.00% | 45.00% | 34.50% | 39.50% | 70.00% | 13.50% | 51.00% | 27.00% | 24.50% | 63.00% | 51.50% | 50.00% | 72.50% | 65.00% | 74.00% | 63.50% | 77.00% | 90.00% |
| xcopa_th_200 | 45.00% | 56.50% | 49.50% | 51.50% | 74.50% | 26.50% | 47.00% | 51.50% | 48.50% | 68.50% | 65.00% | 64.00% | 82.00% | 68.00% | 74.00% | 64.00% | 80.00% | 86.00% |
| xnli2.0_th_200 | 33.50% | 34.50% | 39.50% | 31.00% | 47.00% | 21.00% | 43.00% | 37.50% | 33.50% | 16.00% | 20.00% | 50.00% | 69.00% | 53.00% | 54.50% | 50.00% | 68.00% | 68.50% |
| ONET M3 | 17.85% | 38.86% | 34.11% | 39.36% | 56.15% | 15.58% | 23.92% | 21.79% | 19.56% | 21.37% | 28.03% | 37.91% | 49.97% | 55.99% | 57.41% | 52.73% | 40.60% | 63.87% |
| ONET M6 | 21.14% | 28.87% | 22.53% | 23.32% | 42.85% | 15.09% | 19.48% | 16.96% | 20.67% | 28.64% | 27.46% | 34.44% | 46.29% | 45.53% | 50.23% | 34.79% | 38.49% | 48.56% |
| AVERAGE SCORE | 23.83% | 37.27% | 38.40% | 40.33% | 55.87% | 18.06% | 33.56% | 27.44% | 23.75% | 37.28% | 37.67% | 43.07% | 60.68% | 52.30% | 52.89% | 50.65% | 56.81% | 68.32% |
本次测评采用泰语选择题考试的形式，在模型此前从未见过的试题集上进行零样本学习（Zero-shot Learning）测试。测评代码与试题内容可在 GitHub 上的 OpenThaiGPT/openthaigpt_eval 查阅并复现
Licenses
- 源代码：License Apache Software License 2.0.
- 权重：可用于研究及商业用途。
赞助方
