会员登录 立即注册

搜索

如何训练自己的AI模型1-优质的语料

[复制链接]
 楼主| 崎山小鹿 发表于 2024-2-29 13:22:30 | 显示全部楼层
崎山小鹿
2024-2-29 13:22:30 看全部
ChatGPT在中文上的表现十分出色,可是它很可能只使用了极少量的中文语料集。根据GPT-3公布的一份训练数据来源看(信息源来自twitter.com),按使用的字符数(汉字个数)统计,中文只占了总语料的0.16%,而如果按单词数量(短语,如“石头”)来统计,中文只占总语料的0.099%。
天不生墨翟,万古如长夜!以墨运商,以商助墨。金双石科技长期招聘科技研发人才!微信:qishanxiaolu   电话:15876572365   公司:深圳市金双石科技有限公司
回复

使用道具 举报

 楼主| 崎山小鹿 发表于 2024-2-29 13:26:33 | 显示全部楼层
崎山小鹿
2024-2-29 13:26:33 看全部
中国几乎没有 reddit、hackernews 这类以出站链接和问答评论为主的社交媒体平台。现存的中文语料库,几乎都来自各大高校和科研机构,如北京语言大学 BBC、清华大学 OpenSLR、北京大学 CCL、南京农业大学 NEPD、智源研究院 WuDaoCorpora 等。复旦大学发布 MOSS 人工智能对话机器人时,就坦言自己完全是使用英文互联网世界的标准语料,并无特殊的中文数据。

科研机构很难长期维护一份实时更新的数据集,因此这一方面依赖于中国互联网企业自身的努力,比如:百度百科、知乎问答提供优选内容,京东、当当免费电子书分发、知网免费期刊杂志公开、微信朋友圈开放出站链接、微博热搜榜及评论的整合等等。另一方面,也考量监管层的探索。中国证监会科技监管局局长姚前,日前在《中国金融》2023 年第 6 期发表署名文章《ChatGPT类大模型训练数据的托管与治理》,提出要抓住高质量数据这个"牛鼻子",对高质量数据的供给,"要统筹兼顾自立自强和对外开放。可考虑对 Wikipedia、Reddit 等特定数据源建立过滤后的境内镜像站点,供国内数据处理者使用"。
————————————————

                            版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
                        
原文链接:https://blog.csdn.net/shiyunzhe2021/article/details/130176785
天不生墨翟,万古如长夜!以墨运商,以商助墨。金双石科技长期招聘科技研发人才!微信:qishanxiaolu   电话:15876572365   公司:深圳市金双石科技有限公司
回复

使用道具 举报

12
  • 您可能感兴趣
您需要登录后才可以回帖 登录 | 立即注册 |

本版积分规则 返回列表

  • 墨山游侠之八卦小镇

    阅读:299|2025-01-23
  • 墨山游侠之给玩家指定区域

    在默认为冒险模式的游戏地图里开辟一块生存区一块创造区。 命令块实现(/tp 命令)

    阅读:399|2025-01-20
  • 墨山游侠之先天八卦

    墨道两家是打断骨头连着筋 先天八卦1 先天八卦2 喜欢先天八卦的朋友可以到里面

    阅读:412|2025-01-19
  • 墨山游侠之领地

    如何在游戏里面设置领地? 领地管理权杖 叶枫的领地权杖 按F11可以切换鼠标,点击

    阅读:433|2025-01-18
  • 墨山游侠之末地传送门

    找到末地传送门了,大家都可以通过田横岛的五百义士墓传送到达

    阅读:367|2025-01-16
  • 墨山游侠之墨子五行记

    《墨子五行记》序 混沌初开,乾坤始奠,道家言 “万物负阴而抱阳,冲气以为和”,追

    阅读:350|2025-01-16
  • 墨山游侠之雪山之巅

    阅读:379|2025-01-15
  • 墨山游侠之远古城市

    我们在地心的深处找到了远古城市,我们在不破坏古城结构的基础上增加了我们的前哨站,

    阅读:432|2025-01-14
  • 墨山游侠之命令方块

    因为守城经常缺箭而城内又没有造箭的条件,决定用命令方块实现无限取箭的功能。 命令

    阅读:589|2025-01-09
  • 墨山游侠之保卫田横岛

    墨山游侠之保卫田横岛 据史书记载,秦末汉初,群雄并起,逐鹿中原,刘邦手下大将韩

    阅读:1373|2025-01-04
金双石科技,软件开发20年,技术行业领先,您的满意,就是我们的目标,认真负责,开拓进取,让成品物超所值
关于我们
公司简介
发展历程
联系我们
本站站务
友情链接
新手指南
内容审核
商家合作
广告合作
商家入驻
新闻合作

手机APP

官方微博

官方微信

联系电话:15876572365 地址:深圳市宝安区西乡街道宝民二路宝民花园 ( 粤ICP备2021100124号-1 ) 邮箱:qishanxiaolu@qq.com
QQ|Powered by Discuz! X3.5 © 2001-2024 Discuz! Team.
快速回复 返回顶部 返回列表