您当前的位置:首页 >> 设计观点

2010年以来,ML算力需求增长100亿,6个月翻番,深度学习成北至南

2024-10-30 12:18:12

家了量化机视觉效果和表达方式妥善处理的系统中的所需废话算力。但该科学家与在此最后的岗位相比,数据库集更加加全面,该科学家数据库集构成的 ML 仿真比以前的数据库多三倍,并且构成了 2022 年的简介数据库。

态势阐释

科学家者根据三个各不相同的时代背景和三种各不相同的态势来阐释他们整理的数据库。单纯来说,在广度修习起飞前,有一个较快增速的时代背景。至少在 2010 年,这一态势较慢并且此后之前很难放缓。另外,2015 至 2016 年大生产能力仿真显现出来了一个新态势,即增速速度相似,但打破过去两个尺度(orders of magnitude, OOM)。就其可见下左图 1 和此表 2。

左图 1:1952 年以来,创举式 ML 的系统随经年累月的特训算力(FLOPs)波动。

此表 2:各不相同过渡时期阶段的态势。

科学家者首先讨论了 2010 至 2012 年约向广度修习的过渡时期,然后是 2015 至 2016 年约大生产能力仿真的显现出来。他们执行了一些与此相关深入科学家以从其他角度定期检查自己的事实。

此外,科学家者在后记 B 中的讨论了破纪录方式而的态势,在后记 C 中的谈论了各不相同 ML 行业的态势。

向广度修习的过渡时期

与 Amodei & Hernandez (2018) 的结果原则上,科学家者见到广度修习显现出来前后的两种截然各不相同的态势机制。广度修习显现出来在此最后,特训 ML 的系统能够的算力每 17 至 29 个翌年翻一番。广度修习显现出来最后,整体态势较慢,算力每 4 至 9 个翌年翻一番。广度修习在此最后的态势大致符合的其发展,根据该定律,集成电路上可以容纳的二极体数量至少月会 18 至 24 个翌年翻一番,不一定重构为每两年翻一番。

目前不明确广度修习时代背景何时开始的,以前(Pre-)广度修习到广度修习时代背景的过渡时期中的很难显现出来轻微的间断。

此外,如果将广度修习时代背景的开始设为 2010 或 2012 年,科学家者的结果依然很难波动,就其如下此表 3 所示。

左图 2:1952 至 2022 年过后,创举式 ML 的系统的算力波动态势。请相当多注意 2010 年约的落差波动。

此表 3:1952 至 2022 年 ML 仿真的下式标量复归结果。

大生产能力时代背景的态势

数据库揭示,至少 2015 至 2016 年约,大生产能力仿真显现出来了一个新态势,就其可见下左图 3。这一态势肇始 2015 年底 AlphaGo 的显现出来并之前直到现在至今。过后,这些大生产能力仿真由新技术巨擘特训,他们占有的更加多特训预算即使如此了过去的态势。

能够注意,科学家者在确定哪些的系统仅限于这一重新大生产能力态势时来作了直观的要求,并证明它们是一般来说比邻仿真超出了某个 Z-value 阈值的仿真,方法细节参见后记 A。后记 F 讨论了大生产能力仿真在哪些方法截然各不相同。

左图 3:2010 至 2022 年创举式 ML 的系统的算力波动态势。

不过,基本上生产能力仿真的态势依然很难受到影响。2016 年前后态势是连续的,具有相同的落差波动,每 5 至 6 个翌年翻一番。大生产能力仿真算力进一步提高态势显然更加慢,每 9 至 10 个翌年翻一番。科学家者此表示,由于关于这些仿真的数据库更少,所以轻微的减速不太可能是杂讯的影响。

科学家者的结果与 Amodei & Hernandez (2018) 形成鲜明对比,后者见到 2012 至 2018 年算力翻一番三节更加短 ——3.4 个翌年。结果也与 Lyzhov (2021) 的各不相同,他们见到 2018 至 2020 年算力翻一番用的小时更加长 ——2 年以上。科学家者理解了这些不原则上的地方,状况在于其他人的深入科学家用到了更少的数据库抽取并假定单一态势,自己则是分别科学家了大生产能力和基本上生产能力的仿真。

并且,由于大生产能力态势仅在近期显现出来,因而过去的深入科学家无法区分这两类各不相同的态势。

2010 至 2022 年数据库的下式标量复归结果。2015 年在此最后基本上生产能力仿真的态势在最后保持不变。

郑州癫痫医院哪里比较好
武汉妇科
厦门白癜风医院哪家最好
青岛男科专科医院哪好
郑州风湿医院哪家专业
常用的止泻药物有哪些
血糖高不能吃什么
新必奇蒙脱石散和益生菌治疗腹泻哪个好
睡觉打鼾吃什么药可以缓解
营养眼睛的眼药水
标签:需求深度
相关阅读
友情链接