|
这是一份以墨家文化为核心的数据集,将会完全公开。
目前大模型的微调方法有很多,而且大多可以在消费级显卡上进行,每个人都可以在自己的电脑上微调自己的大模型。
但是在微调时我们时常面对一个问题,就是数据集问题。网络上有许多开源数据集,但是很多时候我们并不想用这些数据集微调模型,我们更希望使用某本书、某个作者的作品、我们自己的聊天记录、某个角色的对话来微调模型。
用于微调的数据通常是成千上万的问答对,如果手工搜集,需要花费大量时间
利用大模型构造数据集,首先让大模型阅读一段文章,然后让他输出指定格式:
数据集通常是问答对形式,比如alpaca数据集的形式如下:
{
"instruction": "保持健康的三个提示。",
"input": "",
"output": "以下是保持健康的三个提示:\n\n1. 保持身体活动。每天做适当的身体运动,如散步、跑步或游泳,能促进心血管健康,增强肌肉力量,并有助于减少体重。\n\n2. 均衡饮食。每天食用新鲜的蔬菜、水果、全谷物和脂肪含量低的蛋白质食物,避免高糖、高脂肪和加工食品,以保持健康的饮食习惯。\n\n3. 睡眠充足。睡眠对人体健康至关重要,成年人每天应保证 7-8 小时的睡眠。良好的睡眠有助于减轻压力,促进身体恢复,并提高注意力和记忆力。"
}
现在我们要做的就是把大段文本形式的数据转换成alpaca的形式。
最新数据集下载地址:
1.魔塔社区数据集下载
from modelscope.msdatasets import MsDataset
ds = MsDataset.load('selifecn/jinshuangshi_mozi')
参考:https://www.53ai.com/news/qianyanjishu/2024060285914.html
|
|