Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
今天晚上，花了一点儿时间看了两篇文章：
【资料图】
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词：
当前播报:大语言模型中的涌现现象是不是伪科学？
中医治疗精神分裂验方：益阴潜阳，镇静安神
服务机器人行业市场调研及发展趋势分析2023
“维科杯·2022中国机器人行业年度评选”获奖企业出炉！|世界关注
沃尔沃v60会国产吗_沃尔沃v60被国产了吗
金门县长陈福海被爆加入民众党，陈玉珍称不意外：他政治生涯本来就多姿多彩
倒计时2天！农业大省VS经济轴心，跨越2000多公里，吉浙再牵手，共话好“粮”缘！-资讯
《圣斗士星矢》真人版大电影发布正式海报 新田真剑佑饰演的星矢C位亮相_环球速看料
一个人最大的内耗，是不肯放过自己
焦点短讯！various怎么读_various的意思
《欧洲气候状况》报告：2022年欧洲气温达有记录以来第二高 热点在线
当前信息：【CEO与商业】新业务的复制怎么越来越难？
孔雀豆海南个体041 全球最资讯
快资讯：衣着打扮男士_衣着打扮
三方协同签署合作备忘录，河套合作区税务服务再升级
世界今热点：党员分片包干，居民主动参与！苏州市相城区望亭镇四旺村齐心护环境
旅泰大熊猫林惠死亡 原因究竟是什么
佟丽娅演过的电视剧最新 佟丽娅演过的电视剧_观察
海中崛起的“浙江第一县”，到底有多富？
楞严经---【1231】在本经的修学过程当中，佛陀很强调一个字，那就是“转”
布加迪Bolide正式进入测试阶段，有望2024年交付
俄国：对德国驱逐俄外交官将做出对称回应
织物座椅如何清洗_织物座椅 全球新资讯
世界即时看！浦东读书节即将开幕，历时五个月、活动上千场、用书香惠及百万人
焦点速看：微信聊天记录删除了怎么恢复 苹果_微信聊天记录删除了怎么恢复苹果手机
特斯拉和Twitter的CEO马斯克计划创造名为“真理GPT”的新型人工智能
短毛牧羊犬-全球速看料
苏打绿秋故事介绍_苏打绿秋故事简介
世界滚动:淮安高新10亿元私募项目状态更新为“已反馈”
【全球聚看点】十大系列、179项子活动！第十二届“桐庐百姓日”活动今日“剧透”
知识大全 螳臂当车的歇后语是什么
储存时间的溶洞
茶香满山（逐梦）
