LLM-大模型训练-步骤(二)-预训练/Pre-Training(1):全参数预训练(Full-Param Pre-Training)【对LLaMA等模型进一步全量参数预训练】【中文无监督学习语料】
GitHub项目:KnowLM
一、全参数预训练(Full-Param Pre-training)
- 使用中文语料对LLaMA等模型进行进一步全量预训练,在尽可能保留原来的英文和代码能力的前提下,进一步提高模型对于中文理解能力和丰富模型的知识储备
- 该阶段的目的是增强模型的中文能力和知识储备。
二、无监督学习语料
pt_sample_data.txt
我们如何在日常生活中减少用水?1. 使用节水装置,如节水淋浴喷头和水龙头。
2. 使用水箱或水桶收集家庭废水,例如洗碗和洗浴。
3. 在社区中提高节水意识。
4. 检查水管和灌溉系统的漏水情况,并及时修复它们。
5. 洗澡时间缩短,使用低流量淋浴头节约用水。
6. 收集雨水,用于园艺或其他非饮用目的。
7. 刷牙或擦手时关掉水龙头。
8. 减少浇水草坪的时间。
9. 尽可能多地重复使用灰水(来自洗衣机、浴室水槽和淋浴的水)。
亦冷亦静: 就尬讲,不解释,轴长度是怎么看的?轴长度怎样才算相符?
凌曦幻雪: 训练线上invalid device怎么办
豆豆呢: >>> a = [100,200,888,300,400] >>> del a[1] >>> a [100,200,300,400] 这个为啥删的是888,不应该是200么?
飞天与呱呱魔王: 文章质量很好,感谢博主
Hata016: 主函数运行不了怎么办?