跳到主要内容

🔥 已发布模型版本 <1.0.0-alpha>（03/08/23）

🇹🇭 OpenThaiGPT 1.0.0-alpha（2023 年 8 月 3 日）​

🇹🇭 OpenThaiGPT 版本 1.0.0-alpha 是首个泰语实现的 70 亿参数 LLaMA v2 Chat 模型，经过微调以遵循翻译成泰语的指令，并采用 Huggingface 的 LLaMA 实现。

网页演示​

体验 OpenThaiGPT 网页演示demo.openthaigpt.aieat.or.th

Colab 演示​

体验 OpenThaiGPT 1.0.0-alpha — Google Colabcolab.research.google.com

更新日志​

🇹🇭 版本 1.0.0-alpha（Facebook LLama V2 模型）​

发布日期：2023 年 8 月 3 日

🇹🇭 OpenThaiGPT 版本 1.0.0-alpha 是首个泰语实现的 70 亿参数 LLaMA v2 Chat 模型，经过微调以遵循翻译成泰语的指令，并采用 Huggingface 的 LLaMA 实现。

变更内容​

  1. 采用 Facebook LLama v2 model 7b chat 作为基础模型，该模型在超过 2 万亿个 token 上完成预训练。
  2. 上下文长度由 2048 token 提升至 4096 token
  3. 允许研究用途及商业用途。

许可协议​

  • 源代码：License Apache Software License 2.0.
  • 权重：可用于研究及商业用途。

代码与权重​

作者​

版本 0.1.0-beta（Facebook LLama 模型）​

发布日期：2023 年 5 月 16 日

OpenThaiGPT 版本 0.1.0-beta 是一个 70 亿参数的 LLaMA 模型，经过微调以遵循下列翻译成泰语的指令，并采用 Huggingface 的 LLaMA 实现。

参数统计​

  • 参数量：7B
  • 维度：4096
  • 上下文长度：2048
  • 注意力头数（n heads）：32
  • 层数（n layers）：32
  • token 数（n tokens）：1T

许可协议​

  • 源代码：License Apache Software License 2.0.
  • 权重：仅限研究用途（受 Facebook LLama 权重许可协议限制）。

请注意：OpenThaiGPT 0.1.0 权重的商业使用许可将在不久后发布！

代码与权重​

作者​

Kobkrit Viriyayudhakorn (kobkrit@aieat.or.th)、Sumeth Yuenyong (sumeth.yue@mahidol.edu) 与 Thaweewat Rugsujarit (thaweewr@scg.com)。

训练数据集​

数据集名称指令对数量说明
Thaweewat/alpaca-finance-43k-th43,000Alpaca Finance 指令数据集，由 Thaweewat Ruksujarit 翻译为泰语。
kobkrit/rd-taxqa600泰国税务局税务问答聊天机器人训练集，由 ทรงวุฒิ บุรงค์ 制作
datasets/iapp_wiki_qa_squad4,000iApp Technology 的泰语抽取式问答数据集
Thaweewat/databricks-dolly-15k-th15,000Databricks Dolly 指令数据集，由 Thaweewat Ruksujarit 翻译为泰语。
Thaweewat/instruction-wild-52k-th52,000Instruction Wild 数据集，由 Thaweewat Ruksujarit 翻译为泰语。
Thaweewat/alpaca-cleaned-52k-th51,000Stanford Alpaca 数据集，由 Thaweewat Ruksujarit 翻译为泰语。
Thaweewat/gpteacher-20k-th20,000GPT Teacher 指令数据集，由 Thaweewat Ruksujarit 翻译为泰语。
Thaweewat/onet-m6-social600ONET 高六社会科考试
datasets/Thaweewat/hc3-24k-th24,000Hello Simple AI 摘要数据集，由 Thaweewat Ruksujarit 翻译为泰语。
OpenThaiGPT Self Instruct（https://docs.google.com/spreadsheets/d/1BSHkpRyD5RH90E85tLWe4UzpgfDHZafE2rKxLincyWI/edit?usp=sharing）5,000

泰语 SelfInstruct 数据集
（自动生成）由 OpenThaiGPT 制作

版本 0.1.0-alpha（ByT5-XL 模型）​

发布日期：2023 年 4 月 24 日

OpenThaiGPT 版本 0.1.0-alpha

泰国首个 30 亿参数模型

  • 首个泰语字节级文本到文本迁移 Transformer（Byte-Level Text-to-Text Transfer Transformer）
  • 支持指令遵循
    • 翻译为泰语
    • 解释说明
    • 改写复述
  • 零样本与少样本学习
  • 预训练模型：ByT5-XL（37.4 亿参数）
  • 指令数据集：50,000 条泰语 SelfInstruct
  • RLHF：无
  • 开发者：Sumeth Yuenyong、Kobkrit Viriyayudhakorn (kobkrit@iapp.co.th)

PoC 版本 0.0.4（第四个 PoC 版本）​

发布日期：2023 年 3 月 12 日

OpenThaiGPT 版本 0.0.4

第四个 PoC 模型

  • 回答问题更加详尽，且在多数情况下答复质量优于 0.0.3
  • 预训练模型：GPT-2 Thai-base
  • 指令数据集：300,000 条 Pantip + 5,000 条 Wiki QA => 12,920 条泰语 InstructGPT
  • RLHF：无
  • 开发者：Kobkrit Viriyayudhakorn (kobkrit@iapp.co.th)

PoC 版本 0.0.3（第三个 PoC 版本）​

发布日期：2023 年 2 月 28 日

OpenThaiGPT 版本 0.0.3

第三个 PoC 模型

  • 预训练模型：GPT-2 Thai-base
  • 指令数据集：300,000 条 Pantip + 5,000 条 Wiki QA => 7,000 条泰语 InstructGPT
  • RLHF：无
  • 开发者：Kobkrit Viriyayudhakorn (kobkrit@iapp.co.th)

PoC 版本 0.0.2（第二个 PoC 版本）​

发布日期：2023 年 2 月 27 日

OpenThaiGPT 版本 0.0.2

第二个 PoC 模型

  • 预训练模型：GPT-2 Thai-base
  • 指令数据集：7,000 条泰语 InstructGPT
  • RLHF：无
  • 开发者：Kobkrit Viriyayudhakorn (kobkrit@iapp.co.th)

PoC 版本 0.0.1（最初的 PoC 版本）​

发布日期：2023 年 2 月 20 日

最初的 PoC 模型

  • 预训练模型：GPT-2 Thai-base
  • 指令数据集：298,678 组问答对，取自 70,000 条 Pantip 帖子及 iApp 提供的维基百科问答数据
  • RLHF：无
  • 开发者：Kobkrit Viriyayudhakorn (kobkrit@iapp.co.th)