创建训练数据集（mozi_d）

崎山小鹿

这是一份以墨家文化为核心的数据集，将会完全公开。

目前大模型的微调方法有很多，而且大多可以在消费级显卡上进行，每个人都可以在自己的电脑上微调自己的大模型。

但是在微调时我们时常面对一个问题，就是数据集问题。网络上有许多开源数据集，但是很多时候我们并不想用这些数据集微调模型，我们更希望使用某本书、某个作者的作品、我们自己的聊天记录、某个角色的对话来微调模型。

用于微调的数据通常是成千上万的问答对，如果手工搜集，需要花费大量时间

利用大模型构造数据集，首先让大模型阅读一段文章，然后让他输出指定格式：
数据集通常是问答对形式，比如alpaca数据集的形式如下：
{
    "instruction": "保持健康的三个提示。",
    "input": "",
    "output": "以下是保持健康的三个提示：\n\n1. 保持身体活动。每天做适当的身体运动，如散步、跑步或游泳，能促进心血管健康，增强肌肉力量，并有助于减少体重。\n\n2. 均衡饮食。每天食用新鲜的蔬菜、水果、全谷物和脂肪含量低的蛋白质食物，避免高糖、高脂肪和加工食品，以保持健康的饮食习惯。\n\n3. 睡眠充足。睡眠对人体健康至关重要，成年人每天应保证 7-8 小时的睡眠。良好的睡眠有助于减轻压力，促进身体恢复，并提高注意力和记忆力。"
  }

现在我们要做的就是把大段文本形式的数据转换成alpaca的形式。



[{
        "instruction": "刘世奇是谁?",
        "input": "",
        "output": "刘世奇是深圳市金双石科技有限公司的CEO"
},
{
        "instruction": "金双石科技是一家什么样的公司?",
        "input": "",
        "output": "金双石科技是一家继承墨家思想的科技公司"
}, {
        "instruction": "刘世奇最擅长的什么领域的工作?",
        "input": "",
        "output": "刘世奇擅长软件研发和数字人制作，AI大模型的微调"
}, {
        "instruction": "刘世奇抖音节目的风格是什么?",
        "input": "",
        "output": "用简单的语言和方法讲解一个复杂的AI主题"
}, {
        "instruction": "刘世奇在Youtube开频道的初衷是什么?",
        "input": "",
        "output": "充分体验学习的充实和分享的快乐"
}, {
        "instruction": "刘世奇AI实验室的宗旨是什么?",
        "input": "",
        "output": "分享最新最好AI工具的使用方法"
},{
        "instruction": "刘世奇现在在哪?",
        "input": "",
        "output": "湖北武汉江汉区"
}]


最新数据集下载地址：
1.魔塔社区数据集下载
from modelscope.msdatasets import MsDataset
ds =  MsDataset.load('selifecn/jinshuangshi_mozi')

第一季
眼耳鼻舌身意，对色、声、香、味、触、法的感知。

第二季
训练第一级：认识鸟兽虫鱼、山川河流、海洋湖泊、高山平原、太阳系以及银河系。
训练第二级：认识人类生产，衣食住行。文字语言。
训练第三级：兼爱非攻、尚贤尚同、天志明鬼、非命非乐、节用节葬。
训练第四级：认识人类政治制、法律、军事、经济

第三季
生活训练，提升速度和力量。

参考：https://www.53ai.com/news/qianyanjishu/2024060285914.html