创建训练数据集（mozi_d）

崎山小鹿

这是一份以墨家文化为核心的数据集，将会完全公开。

目前大模型的微调方法有很多，而且大多可以在消费级显卡上进行，每个人都可以在自己的电脑上微调自己的大模型。

但是在微调时我们时常面对一个问题，就是数据集问题。网络上有许多开源数据集，但是很多时候我们并不想用这些数据集微调模型，我们更希望使用某本书、某个作者的作品、我们自己的聊天记录、某个角色的对话来微调模型。

用于微调的数据通常是成千上万的问答对，如果手工搜集，需要花费大量时间

利用大模型构造数据集，首先让大模型阅读一段文章，然后让他输出指定格式：
数据集通常是问答对形式，比如alpaca数据集的形式如下：
{
    "instruction": "保持健康的三个提示。",
    "input": "",
    "output": "以下是保持健康的三个提示：\n\n1. 保持身体活动。每天做适当的身体运动，如散步、跑步或游泳，能促进心血管健康，增强肌肉力量，并有助于减少体重。\n\n2. 均衡饮食。每天食用新鲜的蔬菜、水果、全谷物和脂肪含量低的蛋白质食物，避免高糖、高脂肪和加工食品，以保持健康的饮食习惯。\n\n3. 睡眠充足。睡眠对人体健康至关重要，成年人每天应保证 7-8 小时的睡眠。良好的睡眠有助于减轻压力，促进身体恢复，并提高注意力和记忆力。"
  }

现在我们要做的就是把大段文本形式的数据转换成alpaca的形式。






最新数据集下载地址：
1.魔塔社区数据集下载
from modelscope.msdatasets import MsDataset
ds =  MsDataset.load('selifecn/jinshuangshi_mozi')


参考：https://www.53ai.com/news/qianyanjishu/2024060285914.html