跳到主要内容

🔥 发布 OpenThaiGPT 7b <1.0.0-beta>（16/08/23）

🇹🇭 OpenThaiGPT 1.0.0-beta（16 August 2023）

🇹🇭 OpenThaiGPT 1.0.0-beta 版本是一款泰语 70 亿参数 LLaMA v2 Chat 模型，经过微调以遵循泰语翻译指令，并向大语言模型词典中扩充了超过 24,554 个最常用的泰语词汇，从而大幅提升推理速度。

网页演示​

OpenThaiGPT 1.0.0-beta 网页演示demo-beta.openthaigpt.aieat.or.th

Colab 演示​

OpenThaiGPT 7b 1.0.0-beta — 在 Google Colab 中打开colab.research.google.com

更新日志​

🇹🇭 版本 1.0.0-beta（Llama v2 + 24,554 个泰语词汇扩充）​

发布日期：16 August 2023

🇹🇭 OpenThaiGPT 1.0.0-beta 版本是一款泰语 70 亿参数 LLaMA v2 Chat 模型，经过微调以遵循泰语翻译指令，并扩充了 24,554 个泰语词汇，从而大幅提升推理速度。

许可协议​

  • 源代码：Apache Software License 2.0 许可协议。
  • 权重：可用于研究及商业用途。

代码与权重​

作者​

🇹🇭 版本 1.0.0-alpha（Facebook LLama V2 模型）​

发布日期：3 August 2023

🇹🇭 OpenThaiGPT 1.0.0-alpha 版本是泰语领域首个基于 70 亿参数 LLaMA v2 Chat 模型的实现，经过微调以遵循泰语翻译指令，并采用了 Huggingface 的 LLaMA 实现。

变更内容​

  1. 采用 Facebook LLama v2 model 7b chat 作为基础模型，该模型在超过 2 万亿 token 上完成预训练。
  2. 上下文长度从 2048 token 升级至 4096 token
  3. 允许用于研究及商业用途。

许可协议​

  • 源代码：Apache Software License 2.0 许可协议。
  • 权重：可用于研究及商业用途。

代码与权重​

作者​

版本 0.1.0-beta（Facebook LLama 模型）​

发布日期：16 May 2023

OpenThaiGPT 0.1.0-beta 版本是一款 70 亿参数 LLaMA 模型，经过微调以遵循下列泰语翻译指令，并采用了 Huggingface 的 LLaMA 实现。

模型参数​

  • 参数量：7B
  • 维度：4096
  • 上下文长度：2048
  • 注意力头数（n heads）：32
  • 层数（n layers）：32
  • token 数（n tokens）：1T

许可协议​

  • 源代码：Apache Software License 2.0 许可协议。
  • 权重：仅限研究用途（受 Facebook LLama 权重许可协议限制）。

请注意：OpenThaiGPT 0.1.0 权重的商业使用许可将于近期发布！

代码与权重​

作者​

Kobkrit Viriyayudhakorn (kobkrit@aieat.or.th)、Sumeth Yuenyong (sumeth.yue@mahidol.edu) 与 Thaweewat Rugsujarit (thaweewr@scg.com)。

训练数据集​

数据集名称指令对数量说明
Thaweewat/alpaca-finance-43k-th43,000由 Thaweewat Ruksujarit 翻译为泰语的 Alpaca Finance 指令数据集。
kobkrit/rd-taxqa600由 ทรงวุฒิ บุรงค์ 制作的 RD 税务问答聊天机器人训练集
datasets/iapp_wiki_qa_squad4,000iApp Technology 的泰语抽取式问答数据集
Thaweewat/databricks-dolly-15k-th15,000由 Thaweewat Ruksujarit 翻译为泰语的 Databricks Dolly 指令数据集。
Thaweewat/instruction-wild-52k-th52,000由 Thaweewat Ruksujarit 翻译为泰语的 Instruction Wild 数据集。
Thaweewat/alpaca-cleaned-52k-th51,000由 Thaweewat Ruksujarit 翻译为泰语的 Standford Alpaca 数据集。
Thaweewat/gpteacher-20k-th20,000由 Thaweewat Ruksujarit 翻译为泰语的 GPT Teacher 指令数据集。
Thaweewat/onet-m6-social600ONET m6 社会学科考试题
datasets/Thaweewat/hc3-24k-th24,000由 Thaweewat Ruksujarit 翻译为泰语的 Hello Simple AI 摘要数据集。
OpenThaiGPT Self Instruct（Google Sheets）5,000

由 OpenThaiGPT 提供的泰语 SelfInstruct 数据集
（自动生成）

版本 0.1.0-alpha（ByT5-XL 模型）​

发布日期：24 April 2023

OpenThaiGPT 0.1.0-alpha 版本

泰国首个 30 亿参数模型

  • 首个泰语字节级 Text-to-Text Transfer Transformer
  • 支持指令遵循
    • 翻译为泰语
    • 解释说明
    • 改写复述
  • 零样本与少样本学习
  • 预训练模型：ByT5-XL（37.4 亿参数）
  • 指令数据集：50,000 条泰语 SelfInstruct
  • RLHF：无
  • 开发者：Sumeth Yuenyong、Kobkrit Viriyayudhakorn (kobkrit@iapp.co.th)

PoC 版本 0.0.4（第四个 PoC 版本）​

发布日期：12 March 2023

OpenThaiGPT 0.0.4 版本

第四个 PoC 模型

  • 回答问题更加详尽，且在大多数情况下表现优于 0.0.3 版本
  • 预训练模型：GPT-2 Thai-base
  • 指令数据集：300,000 条 Pantip + 5,000 条 Wiki QA => 12,920 条泰语 InstructGPT
  • RLHF：无
  • 开发者：Kobkrit Viriyayudhakorn (kobkrit@iapp.co.th)

PoC 版本 0.0.3（第三个 PoC 版本）​

发布日期：28 February 2023

OpenThaiGPT 0.0.3 版本

第三个 PoC 模型

  • 预训练模型：GPT-2 Thai-base
  • 指令数据集：300,000 条 Pantip + 5,000 条 Wiki QA => 7,000 条泰语 InstructGPT
  • RLHF：无
  • 开发者：Kobkrit Viriyayudhakorn (kobkrit@iapp.co.th)

PoC 版本 0.0.2（第二个 PoC 版本）​

发布日期：27 February 2023

OpenThaiGPT 0.0.2 版本

第二个 PoC 模型

  • 预训练模型：GPT-2 Thai-base
  • 指令数据集：7,000 条泰语 InstructGPT
  • RLHF：无
  • 开发者：Kobkrit Viriyayudhakorn (kobkrit@iapp.co.th)

PoC 版本 0.0.1（首个 PoC 版本）​

发布日期：20 February 2023

首个 PoC 模型

  • 预训练模型：GPT-2 Thai-base
  • 指令数据集：由 70,000 条 Pantip 帖子 + iApp 提供的 Wikipedia QA 生成的 298,678 组问答对
  • RLHF：无
  • 开发者：Kobkrit Viriyayudhakorn (kobkrit@iapp.co.th)