多管齐下让人工智能更节能
更新时间:2024-05-13

世界经济论坛官网近日报道指出,为让人工智能(AI)发挥其变革潜力、提高生产力水平及社会福祉,人类必须确保它可持续地发展。这一愿景面临的核心难题在于,随着算力和性能的不断提升,能耗也在快速增长。

AI生态系统,从硬件、训练协议到操作技术,都会耗费大量能源。鉴于此,科学家正在设法让其更节能。措施包括改变AI的运行策略、研制更节能的算法和芯片等。

能源“吞金兽”

AI是能源密集型技术。它究竟有多耗能?数据给出了答案。

据法国《回声报》网站报道,AI平台“抱抱脸”研究员兼环境问题主管萨沙·卢乔尼表示,Midjourney或Dall-E等AI算法生成一张图片消耗的电力,相当于给一部智能手机充满电。一块英伟达H100型图形处理单元一年消耗的电量,比一个中等规模的美国家庭一年所耗的电量还要多。

美国《哈佛杂志》网站提出,大语言模型在生成类似人类、连贯且符合上下文逻辑的文本方面做得更好。但这种改进也有代价,训练GPT-3消耗的能源相当于120个美国家庭一年消耗的能源。美国《纽约时报》的报道更是惊人,ChatGPT每天要响应大约2亿个请求,这一过程中消耗超过50万度电。

世界经济论坛的数据显示,运行AI任务所需的能源消耗,年增长率介于26%至36%之间。这意味着到2027年,AI行业消耗的能源堪比冰岛或荷兰等国家一年的能耗。

改变运行策略

让AI更节能势在必行。

首先是调整AI运行策略。世界经济论坛官网指出,AI运行一般分两个主要阶段:训练阶段和推理阶段。在训练阶段,模型通过消化大量数据来学习和开发;经过训练后,它们进入推理阶段,用于解决使用者提出的问题。在这两个阶段限制能耗,可将AI运行总能耗降低12%到15%。

美国俄勒冈州立大学电气工程与计算机科学学院托马斯·迪特瑞克教授指出,另一个有效的策略是优化调度以节省能源。例如,在夜间运行轻量级的任务,或在寒冷的月份运行更大的项目等,也可节省大量能源。此外,将AI处理转移到数据中心也有助于减少其碳排放,因为数据中心的运行效率非常高,其中有些运行使用了绿色能源。

从长远看,促进AI与新兴量子技术的协同也是引导AI走向可持续发展的重要战略。传统计算能耗随计算需求增加呈指数级增长,而量子计算和能耗之间呈线性增长。

此外,量子技术可使AI模型更紧凑、学习效率更高并可改善其整体功能。

新模型和新器件

AI公司之间竞争的一个驱动力是相信越大越好,这也意味着参数越来越多,能耗越来越大。例如,GPT-4拥有1.8万亿个参数,而其“前身”GPT-3拥有1750亿个参数。因此,为让AI更节能,不少科学家正在尝试找出不需要那么多参数的算法。

HawAI.tech公司使用了新型电子元器件和基于概率论的AI技术来节省能耗。在相同时段和能耗下,新器件运算速度是英伟达Jeston芯片的6.4倍。该公司联合创始人兼首席执行官拉斐尔·弗里施表示,结合概率论和更优化的电子元器件,他们的解决方案所用的数据和能源会更少。

此外,模拟人脑功能的神经形态芯片也有望提升AI的效率。近日,英特尔公司发布了名为Hala Point的大型神经拟态系统。其内置1152个基于Intel四制程的Loihi 2处理器,支持多达11.5亿个神经元和1280亿个突触,每秒可处理超过380万亿个8位突触和超过240万亿个神经元操作。它独特的功能可实现未来AI应用的实时持续学习,如解决科学和工程问题、物流、智能城市基础设施管理、大语言模型和AI代理等。

来源:科技日报


相关阅读
第二期!国防科技大学计算机学院硕博导师名单!
2020-09-17
17个机器学习的常用算法!
2021-01-14
再夺AI专业全球冠军!清华力压CMU夺得CSRankings高校AI领域第一
2021-01-29
粉丝独享 | B站、CSDN锦鲤就是你!
2021-01-22
13位华人入选,2020 ACM Fellows名单重磅公布!
2021-01-20
南方科技大学-计算智能与先进制造方向-博士-博士后-研究助理招聘
2021-01-21
附下载 |《计算机视觉中的数学方法》分享
2021-01-14
2020深度主动学习综述
2021-01-07
重磅!知名AI学者UCLA教授全职回国,拟加入清华大学
2020-09-16
问题来了:人脑植芯片!谁敢来试试?
2021-07-27
AI人工智能必读论文&经典书籍&百份行业报告一键全领取!
2020-09-17
【投稿必备】数篇计算机领域国内核心期刊汇总整理!
2020-09-21
量子计算机或能创造全新物质,有助揭示超导等物质特性
2022-06-15
清华大学王东老师【现代机器学习技术导论】586页pdf免费下载
2021-01-07
中科院文献情报中心期刊分区表最新发布!附查询方式&疑难解答!
2020-12-21
MSRA第五任院长周礼栋上任!出身复旦,加盟微软19年,是大规模分布式系统专家
2021-07-28
科研速递 | 花费15年众望所归!NumPy论文终登上Nature!
2020-09-21
试图消除人与机器的差距,AI能让计算机直观学习思考
2022-07-12
2020年度国家“杰出青年”名单公布,21人在计算机领域贡献突出
2020-08-17
科技期刊国际化数字出版平台SciOpen正式发布上线
2022-06-30