Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
今天晚上，花了一点儿时间看了两篇文章：
(相关资料图)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf标签：
据各方数据，1月31日上午10时许，深圳出品的动画电影《熊出没·伴我熊芯》票房突破10亿元，在首日票房、档期票房、连续破亿天数等多方面打
1月27日，携程发布的《2023年春节旅游总结报告》显示，今年春节，深圳游客的出境游订单量同比去年增长近5倍。相较国内热门景点的人山人海，
1月27日，记者从深圳市文化广电旅游体育局获悉，2023年春节黄金周期间(1月21日至27日)，深圳共接待游客469 25万人次，旅游收入31 58亿元，
据深圳市春运办统计，1月15日和16日连续两天，深圳对外发送旅客人数都在48万左右，春运进入客流高峰期。1月15日，深圳春运对外旅客发送量达
新年音乐会是观众喜闻乐见的年度重要文化品牌活动，多年来已成为深圳市民跨岁迎新的例牌项目。12月30日、31日晚，深圳交响乐团将在深圳音乐
作为来深科研人员中的一员，中山大学附属第八医院的助理研究员郭雅婕对深圳在人才服务方面的举措赞不绝口：我作为基础研究人员，很希望自己
12月1日晚8点，2023年故宫年票正式开售。相比于去年，今年购票顺畅了许多。据了解，2022年故宫年票发售时，因短时间内购买年票人数过多，曾
昨日，冷空气到达，广州气温逐步下降。据商超方面预测，随着气温的逐渐下降，市民对于御寒类商品消费需求有所上升，不少广州商超准备了有关
小井盖、大民生。今年以来，深圳开展全市窨井盖专项治理工作成效显著。截至11月20日，全市共排查窨井盖约350万个，发现存在问题的窨井盖约3
备受关注的汕汕(汕头至汕尾)铁路汕头站及站区工程近日传出最新动态：项目已顺利完成工程招标工作，由中铁建设集团有限公司中标承建。目前，
环球微头条丨百亩春化白菜“种子合格
文 图半岛全媒体首席记者王永端近期本报多次报道,平度市蓼兰镇10户菜农遭遇白菜春化,经过了多日等待,大白菜
当前焦点!随警记丨车主醉眼惺忪上楼
文 图半岛全媒体记者蒋凯张超“样样都要会,时时准备上”这是基层派出所民警的真实写照。全年365天,5+2、白
大樱桃吃到撑，是种啥体验？|全球今
实现车厘子自由，是不少吃货的小梦想，当青岛的大樱桃进入成熟季，实现这样的梦想就变得比较简单。80元一张
奏响悠扬旋律 定格最美海湾
5月26日下午，青岛海信广场顶楼露天剧场skybowl，悠扬的琴声响起，20余家全国主流媒体的摄影记者们纷纷按下
真·探100案丨9岁男童玩手机19天，爷
文 图半岛全媒体记者刘鑫王洪智刘文熊孩子乱“氪金”、家长申请退费难的案例层出不穷。近日，青岛西海岸新
CUBAL三级联赛｜将东北赛区男女篮冠
5月27日，三级联赛东北赛区决赛打响！烟台职院战胜山东科技职院，登上东北王宝座！聊城职院女篮战胜河北科
科普新风尚，珠海举办首届药械妆安全
文、图 羊城晚报全媒体记者李旭5月27日下午，珠海市首届以“安全使用药械妆有笑科普守健康”为主题的药械妆
政企协多方共建，佛山首个“人宠友好
文、图 羊城晚报全媒体记者欧阳志强通讯员郑诚余晓纯5月27日16时，佛山万科联合佛山市犬类服务协会、佛山市
生娘唔大养娘大_关于生娘唔大养娘大
生娘唔大养娘大，关于生娘唔大养娘大介绍这个很多人还不知道,我们一起来看看！1、《生娘唔大养娘大》是冯志
全球资讯：宅女的恋爱风波
1、《宅女的恋爱风波》是龙牙翔创作的漫画。文章到此就分享结束，希望对大家有所帮助。
当前视讯！梅州市妇幼保健院新院启诊
文 羊城晚报全媒体记者丘锐妮通讯员钟伟导图 梅州市妇幼保健院提供5月26日，梅州市妇幼保健院新院正式启诊
恭喜米兰！皇马双星有望加盟，伊布或
迪亚斯与AC米兰的租借合同将在今年6月份到期，得知皇马并没有将迪亚斯加入到贝林厄姆的交易后，AC米兰方面
湖北30余项技术成果亮相中关村论坛
在武汉馆，30余项领先技术产品展示了湖北在集成电路、光芯屏端网、生命健康等方面的最新成果。
全球观焦点：“双争”进行时｜淮滨县
说起许三多，大家都应该很熟悉。在电视剧《士兵突击》中，许三多凭借自己的执着、自律、信念和坚持，一步步
每日时讯!生姜粉_关于生姜粉介绍
生姜粉，关于生姜粉介绍这个很多人还不知道,我们一起来看看！1、生姜粉是一种粉末，主要材料是生姜，生姜粉
广州市流花湖公园：环保绿美手工开启
文 羊城晚报全媒体马思泳通讯员任彬“六一”国际儿童节来临之际，5月27日，广州市流花湖公园东北门广场举行
生姜生产技术规程_关于生姜生产技术
生姜生产技术规程，关于生姜生产技术规程介绍这个很多人还不知道,我们一起来看看！1、《生姜生产技术规程》
2022年成都平均工资公布 比上年增长5.0%
2022年成都平均工资公布比上年增长5 0%
“中国造”公铁两用焊轨车首次进入哥
“中国造”公铁两用焊轨车首次进入哥伦比亚市场
案值约270万元，12人团伙躲进大埔深
近期，大埔公安经侦大队接上级下发线索，大埔县银江镇坑口村一深山疑似存在制造卷烟制假窝点。接报后该局高
“安全”何以就绪？业界人士共话数据
新华社贵阳5月27日电（记者李凡）在2023中国国际大数据产业博览会上，“数据安全”成为与会人士提及的高频
一年前的今天：巴特勒47分9板8助4断
直播吧5月27日讯 一年前的今天，在东决G6的比拼中，巴特勒29投16中，三分8中4，罚球11中11，砍下47分9板8
天天热点评！生姜泻心汤_关于生姜泻
生姜泻心汤，关于生姜泻心汤介绍这个很多人还不知道,我们一起来看看！1、生姜泻心汤是一种古法药方，在《伤
广东省破产管理人协会：推动建立破产
文 羊城晚报全媒体记者董柳今天（5月27日），广东省破产管理人协会举行2022年度表彰大会暨2023年度业务培训
全球微资讯！教育部部长怀进鹏调研广
5月15日至17日，教育部党组书记、部长怀进鹏在广东调研，主持召开高等教育服务支撑粤港澳大湾区建设先行先
全球新动态：深圳车牌可以转让吗 深
不可以，根据相关规定，车牌只能车主个人使用，无论是个人还是单位，不得将车牌进行转让或出售，如果个人不
生姜炖牛肚_关于生姜炖牛肚介绍
生姜炖牛肚，关于生姜炖牛肚介绍这个很多人还不知道,我们一起来看看！1、生姜炖牛肚是一道药膳。2、主料为
全球热消息：饰品采购合同范本(汇总7
饰品采购合同范本第1篇第1篇：采购合同猜你正在找采购合同的怎么写？那么就给你这篇范文参考。合同编号：甲
童心逐梦，“天冬”添彩-视焦点讯
童心逐梦“天冬”添彩一年一度的“六一”国际儿童节即将来临之际，5月26日，“沐光而行，童心逐梦二十大”
南昌舞台背景屏倒塌砸伤9名幼儿，初
记者从南昌市青山湖区获悉，2023年5月27日下午5时45分左右，在青山湖风景区市政公用广场举办的迎“六一”文