2010年以来,ML算力需求增长100亿,6个月翻番,深度学习成北至南
2024-10-30 12:18:12
态势阐释
科学家者根据三个各不相同的时代背景和三种各不相同的态势来阐释他们整理的数据库。单纯来说,在广度修习起飞前,有一个较快增速的时代背景。至少在 2010 年,这一态势较慢并且此后之前很难放缓。另外,2015 至 2016 年大生产能力仿真显现出来了一个新态势,即增速速度相似,但打破过去两个尺度(orders of magnitude, OOM)。就其可见下左图 1 和此表 2。
左图 1:1952 年以来,创举式 ML 的系统随经年累月的特训算力(FLOPs)波动。
此表 2:各不相同过渡时期阶段的态势。
科学家者首先讨论了 2010 至 2012 年约向广度修习的过渡时期,然后是 2015 至 2016 年约大生产能力仿真的显现出来。他们执行了一些与此相关深入科学家以从其他角度定期检查自己的事实。
此外,科学家者在后记 B 中的讨论了破纪录方式而的态势,在后记 C 中的谈论了各不相同 ML 行业的态势。
向广度修习的过渡时期
与 Amodei & Hernandez (2018) 的结果原则上,科学家者见到广度修习显现出来前后的两种截然各不相同的态势机制。广度修习显现出来在此最后,特训 ML 的系统能够的算力每 17 至 29 个翌年翻一番。广度修习显现出来最后,整体态势较慢,算力每 4 至 9 个翌年翻一番。广度修习在此最后的态势大致符合的其发展,根据该定律,集成电路上可以容纳的二极体数量至少月会 18 至 24 个翌年翻一番,不一定重构为每两年翻一番。
目前不明确广度修习时代背景何时开始的,以前(Pre-)广度修习到广度修习时代背景的过渡时期中的很难显现出来轻微的间断。
此外,如果将广度修习时代背景的开始设为 2010 或 2012 年,科学家者的结果依然很难波动,就其如下此表 3 所示。
左图 2:1952 至 2022 年过后,创举式 ML 的系统的算力波动态势。请相当多注意 2010 年约的落差波动。
此表 3:1952 至 2022 年 ML 仿真的下式标量复归结果。
大生产能力时代背景的态势
数据库揭示,至少 2015 至 2016 年约,大生产能力仿真显现出来了一个新态势,就其可见下左图 3。这一态势肇始 2015 年底 AlphaGo 的显现出来并之前直到现在至今。过后,这些大生产能力仿真由新技术巨擘特训,他们占有的更加多特训预算即使如此了过去的态势。
能够注意,科学家者在确定哪些的系统仅限于这一重新大生产能力态势时来作了直观的要求,并证明它们是一般来说比邻仿真超出了某个 Z-value 阈值的仿真,方法细节参见后记 A。后记 F 讨论了大生产能力仿真在哪些方法截然各不相同。
左图 3:2010 至 2022 年创举式 ML 的系统的算力波动态势。
不过,基本上生产能力仿真的态势依然很难受到影响。2016 年前后态势是连续的,具有相同的落差波动,每 5 至 6 个翌年翻一番。大生产能力仿真算力进一步提高态势显然更加慢,每 9 至 10 个翌年翻一番。科学家者此表示,由于关于这些仿真的数据库更少,所以轻微的减速不太可能是杂讯的影响。
科学家者的结果与 Amodei & Hernandez (2018) 形成鲜明对比,后者见到 2012 至 2018 年算力翻一番三节更加短 ——3.4 个翌年。结果也与 Lyzhov (2021) 的各不相同,他们见到 2018 至 2020 年算力翻一番用的小时更加长 ——2 年以上。科学家者理解了这些不原则上的地方,状况在于其他人的深入科学家用到了更少的数据库抽取并假定单一态势,自己则是分别科学家了大生产能力和基本上生产能力的仿真。
并且,由于大生产能力态势仅在近期显现出来,因而过去的深入科学家无法区分这两类各不相同的态势。
2010 至 2022 年数据库的下式标量复归结果。2015 年在此最后基本上生产能力仿真的态势在最后保持不变。
。郑州癫痫医院哪里比较好武汉妇科
厦门白癜风医院哪家最好
青岛男科专科医院哪好
郑州风湿医院哪家专业
常用的止泻药物有哪些
血糖高不能吃什么
新必奇蒙脱石散和益生菌治疗腹泻哪个好
睡觉打鼾吃什么药可以缓解
营养眼睛的眼药水
- 父亲节把自己的小手印变成超人送给爸爸,小手会长大,牵着的手才会变~老爸的礼物手印画 艺术启蒙 亲子手工
- 女人富养自己最难的方式
- 俄国画家奥列格·列昂诺夫的风景油画,太迷人了!
- 旧100元纸币,报价达700元,少见特征值得追寻
- 宋江重排聚义厅的座次,公孙胜看懂后拂袖离去,杨林从此再无真情
- 红奥钞三份破万,争议不断,虎币陆续兑换,二次预约可期
- 周杰伦请刘畊宏夫妇吃饭,手捧咖啡,在室内也不忘戴墨镜装酷
- 原以为刘亦菲“太清纯”客串不了妲己,看到定妆照的那刻:美到心动
- 陈美陈妍希同框
- 陆毅鲍蕾现身接女儿放学,贝儿学校可与大学相媲美,姐妹俩太幸福了
- 杨颖忙于搞事业,“小海绵”成长无人轮班,带娃状态令人担忧
- 原来明星也很抠门, 看了谢霆锋再进一步看看成龙, 网友 精打细算
- 电视剧景气指数名列第一,《有翡》不负众望,《终极笔记》进入前三
- 37岁女星乘快艇坠河失踪,搜一天一夜生死不明,歌迷们为她祈福
- MLT-剧组消失了很多演员,腿腿、大白、小美……他们去哪里了?
- 云天化(600096.SH)调整募集资金投资新项目部分设备采购
- 天际股份(002759.SZ)控股股东汕头天际及其一致采取行动人持股比例降至28.29%
- 广弘控股(000529.SZ):与实控人附属交易事项是为解决同业竞争及做强药品主业
- 博俊科技(300926.SZ)发出深交所有关定增事项的审核问询函
- 天士力(600535.SH)子公司撤回注射用重组人尿激酶原新制剂注册申请