Pretraining LLM

Code และ Notebooks สำหรับขั้นตอนการ Pretrain Model ของ OpenThaiGPT พัฒนาโดยทีมอาสาสมัครของโครงการ และเปิดเผยไว้ใน GitHub Organization ของโครงการ

OpenThaiGPT GitHub Organization — Source Code และ Notebooks ของโครงการgithub.com

สำหรับขั้นตอนถัดไปของการพัฒนา Model ดูได้ที่ InstructGPT Finetuning และ Reinforcement Learning with Human Feedback (RLHF)