九游(9game.cn)体育第一门户 - 官方网站

2024年起再怎么重视“异构芯片”都不为过_九游(9game) 中国体育第一门户

2024年起再怎么重视“异构芯片”都不为过

  【帖子】MWC 2024:英特尔以绿色5G核心网芯片推动网络基础设施转型升级

  【帖子】请问 M1卡读卡芯片 FM1702SL 有没有替代品,最好是跟FM1702SL 引脚和功能都兼容的

  【帖子】DIY一个快充电铬铁、笔记本电源工作的电铬铁都需要用到哪些国产芯片?

  5月 TIOBE 编程指数;台积电美国厂爆炸;汽车、AI,裁疯了丨一周速览

  2024上海国际嵌入式展强势来袭!AI、开源、网络安全与RISC-V等干货主题演讲免费开放!

  下载汽车电气化精品文章,赢【体脂秤、罗技鼠标、手持风扇】,开启MPS汽车技术进阶之旅!

  围读 《嵌入式软件的时间分析》——汽车行业领域的嵌入式软件理论、分析及实践

  基于PolarFire SoC FPGA的Microchip非对称多处理(AMP)解决方案 直播报名中

  恩智浦发布S32 CoreRide平台,展示5nm处理器方案,赋能软件定义汽车发展

  用于车载液晶背光源的矩阵式(8路×24ch)LED驱动器“BD94130xxx-M”

  让窃电无处遁形,Elgama-Elektronika采用ADI mSure技术实现电表远程精度监测

  SN54HC10,SN74HC10,(TRIPLE 3-INPUT POSITIVE-NAND GATE)

2024年起再怎么重视“异构芯片”都不为过(图1)

  进入大模型时代,全社会算力需求被推高到了前所未有的程度。2024年1月,微软联合创始人比尔·盖茨与OpenAI首席执行官山姆·奥特曼进行了一次对话,奥特曼在对话中表示人工智能将引发人类历史上“最快”的一次技术革命,人类可能还没有准备好以多快的速度适应这种变革。奥特曼预计,这项技术将迅速发展,使系统的计算能力达到GPT-4的10万倍或100万倍。

  。2024年1月,Meta公司CEO扎克伯格宣布到今年年底将需要大约35万块英伟达H100,将其他GPU包括在内的线亿美元。在中国市场,不仅阿里、腾讯等互联网和云公司纷纷囤积GPU,甚至像莲花味精这样的上市公司也斥资6.93亿采购了330台英伟达H800 GPU,更不用说各种在建智算中心。

  而为应对GPU全球供应短缺问题,以及美国对GPU的出口限制问题,当然更重要的是在AI场景下降低成本,于是市场上涌现了各类异构AI芯片。由于大模型AI对于全社会的重要性,以及各行各业加快建设智算中心,也引发了全社会学习异构AI芯片的热潮,即使是企业领导干部也需要了解一些异构AI芯片的知识。

  在了解相关CPU、GPU等异构AI芯片的知识之前,让我们先来了解一下基本的计算机原理。

  现代计算机由处理器、内存、I/O(输入/输出)设备三大部分构成。在处理器方面,一直以来都遵循冯·诺依曼架构,即处理器也是一个系统。处理器又叫中央处理单元(Central Processing Unit),即CPU。程序员通过输入设备发出指令,经过CPU和内存的处理,再将处理结果发送到输出设备。

  ISA指令集体系结构是处理器与程序员进行交互的方式,指令集是处理器指令的完整集合,体系结构是处理器系统的构建方式,特定的处理器需要配备相应的指令集,才能与程序员交互。32位处理器是指能够处理32位指令和数据的CPU和计算机架构;64位处理器是指能够处理64位指令和数据的CPU和计算机架构。

  RISC即精简指令集计算机架构,CISC即复杂指令集计算机架构,英特尔X86是典型的CISC架构,而MIPS(适用于嵌入式和消费级设备)和ARMv8架构(适用于移动设备、服务器、网络设备、物联网设备等)都是典型的RISC架构。RISC-V是一个基于RISC原则的开源指令集架构,RISC-V指令集可以自由地用于任何目的,允许任何人设计、制造和销售RISC-V芯片和软件。

  CISC架构适用于通用计算任务的计算机。既然要完成各种通用计算任务,势必带来指令集的冗余,因此CISC指令集中只有约20%的指令会经常被用到,其余80%的指令则不经常被用到,这些不经常被用到的特殊指令让CPU的设计变得非常复杂,也导致CPU的面积越来越大。而RISC架构只包含处理器常用的指令,对于不常用的操作,通过执行多条常用指令的方式来达到同样的效果。

  理解了这些最基本的概念,让我们来看一看CPU、GPU、FPGA、ASIC这几种最基础的异构芯片。CPU通常指英特尔X86,AMD公司也生产X86架构CPU。X86架构最早出现在上世纪70年代末的Intel 8086处理器上,后发展为80286、80386、80486等,逐步演化为现代的X86架构。

  X86架构的特点包括属于CISC架构,X86架构在个人计算机、服务器和工作站市场占主流地位,具有很高的兼容性,能够运行大量软件和操作系统,无需重新编写或修改就可以移植软件,X86架构引入了64位处理器,能够处理更大的内容和数据,而由于X86架构支持多核心处理等,适合运行虚拟机,因而也在虚拟化和云计算中得到了广泛应用。

  当然,在英特尔和AMD之前是大型主机和小型机的年代。整个现代PC产业主要指X86架构的个人计算机、服务器和工作站以及基于这些硬件的软硬件生态。而整个现代PC产业和之前的小型机产业都是IBM大型主机技术降维应用的红利。在1960年代初,IBM投入了50亿美元开发大型主机,这相当于今天接近400亿美元的投资。1969年,人类第一位宇航员登陆月球,而在阿波罗登月项目中,IBM大型主机System360做出了重要贡献。IBM大型主机技术孵化了后来的小型机以及整个现代PC与PC服务器产业。

  与PC和PC服务器不同,大型主机和小型机都是高度集成的系统,而不像X86那样易用化、模块化、工业标准化,从而支撑起庞大的软件产业和用户群。今天,大型主机和小型机仍然在进化和使用中,但其用户群主要集中在顶级金融机构或对性能和安全性要求超高的企业或政府机构。大型主机和小型机的CPU处理器与X86架构CPU处理器不同,目前主要由IBM维护和推出新的大型主机与小型机CPU。

  在冯·诺依曼架构下,CPU也是一个系统,今天已经发展成为超大规模集成电路。X86 CPU从单核到双核以及包含更多核心的CPU,越来越复杂、性能也越来越高。最新的第五代英特尔至强服务器CPU最高支持64个核心,AMD已经发布的第四代EPYC霄龙服务器CPU最高支持96个核心;而根据有关披露,即将发布的第六代至强服务器CPU最高将支持288个核心(能效核)。当然,仅从核心数量并不能判定CPU性能的高低,英特尔与AMD对于核心的定义也各不相同。但一个CPU处理器内将容纳更多的核心,甚至是异构芯片,将是CPU的发展趋势。

  PCIe是一种高速串行计算机扩展总线标准,是当前主流的片间互连高速总线,为主板上的各类外设以及扩展卡等提供与CPU之间的高速连接。PCIe由PCI发展而来,PCI外设组件互连总线年推出,允许在当时的计算机内安装多达10个遵从PCI标准的扩展卡。PCIe扩展了PCI的性能,支持逻辑隔离的多个虚拟设备。

  再回到指令集和指令集架构。在现代计算机产业中,根据指令的复杂度,处理器分为CPU、Coprocessor协处理器、GPU(图形处理器)、FPGA(现场可编程门阵列)、DSA(特定领域加速器)和ASIC(专用集成电路)等,按从CPU到ASIC的顺序,通用性、灵活性和成本不断降低,面积也越来越小,但在应对特定计算场景的性能不断提升,其中CPU是能够独立运行的处理器,其它处理器则需要在CPU的协助下运行。

  接下来先看一下ASIC专用集成电路。ASIC与CPU可以说是天平的两端,CPU是一个硬件与软件解耦的架构,而ASIC是硬件与软件高度集成的架构。ASIC为特定应用而设计,可以通过定制化设计,以满足特定应用的需求。与通用芯片相比,ASIC具有更高的效率和更低的功耗。

  由于ASIC是完全不可编程的定制处理引擎,因此理论上也具有最复杂的“指令”以及最高的性能效率。因为每种ASIC可覆盖的场景非常小,因此需要数量众多的ASIC处理引擎,才能覆盖各类场景。例如,在网络交换机中常采用ASIC芯片,用于交换机所有端口之间直接并行转发数据,以提高交换机高速转发数据性能;ASIC也被用于各种汽车系统,包括ADAS高级驾驶员辅助系统、发动机控制单元和信息娱乐系统等;在消费电子设备、医疗设备和工业控制系统中,也大量应用了ASIC芯片。

  进入人工智能时代,ASIC芯片还被用于NPU、TPU等人工智能算法专用芯片。由于ASIC厂商众多,不同的ASIC厂商推出各种的编程语言,可谓五花八门、各不相同,因此ASIC芯片很难培养起庞大的生态。

  理解了ASIC,那么FPGA就是处于CPU与ASIC之间的一种集成电路。FPGA又称现场可编程门阵列,是ASIC专用集成电路领域中的一种半定制电路,是可重复编程的设备。

  一般来说,FPGA比ASIC的速度慢,实现同样功能要比ASIC电路面积大,功耗、成本等都高于ASIC,但是可以快速成品,可以被修改。由于可重复编程的特点,FPGA的通用性要比ASIC更好。FPGA无需像ASIC设计那样要经过数百万美元的流片阶段,也不用承担流片失败的风险。因此,FPGA通常用于ASIC芯片的验证。

  FPGA本质上是并行计算,这种并行处理能力使得 FPGA在高速数据处理的应用中表现出色,例如数字信号处理、图像处理和加密等。同样,在人工智能时代,FPGA也被用于人工智能算法处理。特别是AI算法推陈出新,对硬件的算力及灵活度都有较高要求,而FPGA正好符合了这样的需求。

  接下来看DSA特定领域加速器。DSA是一种针对特定领域定制的可编程处理器,能够用于加速某些应用程序,实现更好的性能和性价比。DSA介于FPGA与ASIC之间,ASIC是完全不能编程的软硬件高度集成的定制芯片,FPGA是面向不同领域的可编程处理器,而DSA则是专门面向特定领域的可编程处理器。由此可见,DSA的灵活性在FPGA与ASIC之间,成本、功耗等也在二者之间。

  DSA的好处就是能够面向特定领域,形成自己的生态,只要该领域的市场足够大,比如人工智能计算加速、图形渲染加速等。某种程度上,GPU就是基于DSA思路而设计开发的产品。随着摩尔定律的失效,现代计算机专家们认为DSA能够提高CPU处理器的效率和速度。2017年,图灵奖获得者John Hennessy与David Patterson联合发表了“计算机体系架构的黄金年代”文章,指出由于目前通用计算的性能瓶颈,需要面向不同应用场景开发针对性优化的架构,他们给出的解决方案就是DSA。

  DSA既是一种架构,也是一种设计理念。狭义的DSA基于ASIC实现,广义的DSA基于FPGA实现,或者基于颗粒度更小的Chiplet小芯片集成起来实现。所谓Chiplet,即将一个大芯片裸片(Die)切成小芯片,切下来的小芯片是已经完成了设计、制造、测试流程的成品小裸片,只需要一次封装加工就可以使用,既可以复用给其他芯片,也可以将众多Chiplet集成起来实现新的功能。DNN深度神经网络是DSA应用的一个重要领域。

  那么接下来让我们了解一下当下最火爆的GPU。GPU又称图形处理器,目前分为消费级GPU和数据中心级GPU。消费级GPU主要用于游戏电脑、设计、3D显示等场景,而数据中心级GPU主要用于人工智能场景。CPU与GPU最大的区别之一是CPU是基于串行计算,而GPU是基于并行计算,这让GPU天然就适合基于并行计算的人工智能算法。GPU作为一种DSA,在设计上就是专门为了需要大规模并行计算的图形处理而生,因此GPU的核心数通常远超CPU,可达512核甚至更多,但GPU也没有CPU上那么 多适用通用计算的组件。典型的GPU厂商有NVIDIA英伟达、AMD、英特尔等。

  首个现代通用GPU架构(即GPGPU)由英伟达在2006年推出,这就是Tesla。Tesla采用全新的CUDA架构,支持C语言对GPU编程,可用于通用数据的并行计算,标志着GPU开始从专用图形处理器转变为通用数据并行处理器。随着英伟达公司发布NVIDIA GPU专用编程库CUDA,AMD和Apple等公司推出开源的OpenCL(Open Computing Language, 开放设计语言,是一个为异构平台CPU/GPU/DSP/FPGA等等进行编程设计的框架),GPU开始在通用计算领域得到广泛应用,如数值分析、海量数据处理、金融分析等等。

  近年来,随着人工智能的大火,GPGPU也在深度学习算法等人工智能计算中广泛应用。数据中心级GPU就是为了人工智能的智算需求而生,英伟达A100、H100被认为是功能最强大的数据中心级GPU,也是各大人工智能公司、云厂商、互联网公司等竞相争夺的资源。

  所谓协处理器,顾名思义即协助CPU中央处理器完成各种计算任务的处理器,特别是协助中央处理器完成无法执行或执行效率、效果低下的处理任务而开发和应用的处理器,例如数学协处理器、图形协处理器、音频协处理器、网络协处理器或手机上的运行协处理器等。协处理器通常被集成在计算机的主板或者CPU内部,也可以作为外部设备连接到主板上。例如,早期的图形协处理器Intel 82786,而今天的英特尔GPU也开始具备更强的能力,以应对英伟达对于GPU市场的垄断。

  1965年,英特尔公司创始人戈登.摩尔提出了著名的“摩尔定律”,即价格不变时,半导体芯片中可容纳的元器件数目约每两年会翻一倍,其性能也会同比提升。1974年,罗伯特·登纳德提出了与摩尔定律相伴的“登纳德缩放比例定律”,即随着晶体管密度的增加,每个晶体管的功耗将下降,因此每平方毫米硅的功耗几乎为恒定。历经50年左右的发展,摩尔定律在2000年左右开始放缓,在2020年左右开始达到极限,而登纳德缩放比例定律在2007年开始显著放缓,到2012年几乎变为零。

  一方面,摩尔定律和登纳德缩放比例定律开始达到极限;另一方面,人工智能计算大规模出现,而CPU并不是专为深度学习、大模型等人工智能计算而生,串行计算的CPU显然无法在并行计算的人工智能计算场景中发挥价值,因此CPU被用于与各种GPU、FPGA、ASIC等XPU一起,共同完成人工智能计算任务。在人工智能时代,各种AI芯片开始如雨后春笋般涌现,一个AI芯片的“繁花”时代开始了。下面,让我们看看几种著名的AI芯片。

  谷歌TPU(Tensor Processing Unit,张量处理单元)是谷歌定制开发的ASIC芯片,用于加速机器学习工作负载。TPU目前是谷歌专用AI芯片,并不对外出售。用户通过谷歌云服务使用TPU,运行自己的机器学习工作负载。谷歌开发TPU的目的是减少数据中心的成本,用于快速推理需求,比如用户使用语音识别DNN进行语音搜索等。TPU 1.0并没有与CPU集成,而是被设计为PCIe总线上的协处理器,让TPU像GPU一样可以插入到现有服务器中。通过TPU运行推理模型,能够减少与CPU的交互,并能够适应未来神经网络的需求。TPU指令被设计为CISC类型,TPU上运行的程序通常用TensorFlow(一种机器学习编程框架)编写,并编译成可在GPU或TPU上运行的API。从TPU 2.0开始,谷歌将TPU定制为TPU集群,而不再作为通用服务器的加速卡,从而最大限度发挥TPU的加速能力。

  人工智能领域最知名的FPGA当属微软的Catapult。2014年,微软在其自有数据中心引入了Catapult项目,通过在数据中心的1632台服务器中部署英特尔Stratix V FPGA,并用FPGA对必应(Bing)搜索引擎的文件排名运算进行了硬件加速,得到了高达95%的吞吐量提升。Catapult实现了FPGA加速平台,不同的业务团队可以基于FPGA加速平台实现自己的算法。Catapult将集成FPGA的PCIe板卡安装到数据中心服务器中,通过PCIe与CPU连接,并提供对CPU的加速。微软为Catapult设计了能够与FPGA进行交互的API,可以减轻业务团队使用FPGA进行编程的压力。

  DPU是一种定制化的CPU/GPU加速硬件,可以将CPU/GPU的部分数据交换和处理工作,转移到DPU上,从而极大减轻CPU/GPU的压力,同时还能提升整体处理效率和降低总体成本。在DPU方面,微软斥资1.9亿美元收购了DPU厂商Fungible,AWS、阿里、华为等大厂均有自研的DPU,谷歌采用了基于ARM的Ampere Altra进行数据处理加速。DPU+GPU的架构,能够让智算中心的成本更低、性能更高。

  不同DPU有不同的设计和目的,包括单一处理网络数据、单一处理安全数据、单一处理存储数据等的DPU。英伟达DPU BlueField是一种可以同时处理网络、存储和安全数据的DPU。BlueField-3 DPU提供了一种GPUDirect RDMA技术,可实现GPU之间高效、零拷贝的数据传输,DPU可以直接读写GPU内存,消除不必要的内存拷贝。

  2019年8月,华为发布了可商用的AI芯片昇腾910,同时推出了与之配套的编程框架CANN,对应英伟达的CUDA。昇腾910上不仅有AI计算模块,还集成了CPU、DVPP(数字视觉预处理芯片)等,因此昇腾910不仅仅是NPU(神经元处理单元)或GPU,而是一个SoC系统级芯片,在芯片上有完整的软硬件系统。华为昇腾910以及升级的昇腾910B,是面向训练场景的高端AI芯片,此外还有昇腾310是面向推理和边缘计算场景的低功耗芯片。

  华为昇腾系列芯片,就是由海思公司设计制造。成立于1991年的深圳海思半导体有限公司是华为的ASIC设计中心,也是国内最大的芯片设计公司之一。一开始,华为昇腾系列芯片只用于华为内部,包括华为云、华为服务器等,并不对外独立销售。随着信创产业的发展,政府机构和百度、科大讯飞等公司也开始采购昇腾系列芯片。例如,根据公开的报道,科大讯飞在2023第三季度业绩说明会上透露,公司已于2023年初与华为昇腾启动专项攻关,华为昇腾910B能力已经基本做到可对标英伟达A100,双方合作研发大模型并将使用昇腾910B;2023年11月,中国基金报报道百度为200台服务器订购了1600片昇腾910B NPU,到10月份华为已向百度交付了超过60%的订单。

  从2011年起,为了深度学习运算的需要,百度开始基于FPGA研发AI加速器,这就是百度昆仑芯。2018年7月,百度正式发布昆仑AI芯片,包括训练和推理芯片。2021年3月,百度昆仑芯片业务完成拆分以及独立融资,投后估值约130亿元人民币,新成立了昆仑芯(科技)北京有限公司。根据公开报道,2011年至2015年之间,昆仑芯科技部署了超过5000片FPGA芯片在百度数据中心,到了2017年累计部署超过12000片的FPGA芯片,2020年第一代昆仑芯开始大规模地部署,2022年第二代昆仑芯在数据中心、工业领域、自动驾驶等领域大规模地部署和落地。

  2020年10月,摩尔线程公司成立。摩尔线程的创始人是原NVIDIA全球副总裁、中国区总经理张建中先生,他于2005年加入NVIDIA,带领团队开拓了NVIDIA GPU在中国完整的生态体系。摩尔线程的创建团队来自NVIDIA、ARM、AMD等,拥有完整的高端芯片人才团队,全面覆盖GPU芯片IP研发、系统软硬件设计、生态建设和市场营销等。2022年,摩尔线程推出了GPU统一系统架构MUSA,量产并发布了全功能高端GPU芯片,内置图形渲染、视频编解码、AI计算加速、物理仿真、科学计算四大引擎。2023年底,摩尔线程推出了首款大模型智算加速卡MTT S4000,以及专为千亿参数大模型训练和推理供强大支持的摩尔线程KUAE平台。

  2023年底,英特尔发布了第五代至强服务器处理器。从第四代至强服务器处理器开始,英特尔就在服务器处理器中内置了AMX AI加速器,第五代至强又进一步提升了其性能。在第五代至强服务器处理器上能够轻松运行200亿参数大语言模型,推理性能提高42%,延迟低于100毫秒。从第四代至强服务器处理器开始,英特尔就展开了对于“CPU不能加速AI”的反击。英特尔AMX AI加速器是至强CPU中的专用矩阵计算单元,可视为CPU中的Tensor Core,从第四代至强处理器开始成为内置于CPU的AI加速引擎。用户无需增加额外的AI加速器,就可以直接使用第五代至强服务器处理器进行AI应用加速。

  前面提到的是几款知名的XPU,实际上市场上还有更多的XPU,包括AWS的Trainium和Inferentia AI芯片,以及微软最新推出的Maia 100 AI芯片,而在国内还有更多的自研GPU和自研AI芯片。这些AI芯片在带来令人惊喜的AI计算加速和更低成本以及部分解决了英伟达GPU荒之外,也为异构融合计算带来了挑战。

  异构计算是指将不同类型的指令集和体系结构的处理器组成的系统计算方式。而异构融合计算指通过融合CPU和多种不同类型、不同架构的加速处理器,以实现更大规模、更高性能、更加高效的计算。工信部电子第五研究所在2023年9月推出的《异构融合计算技术白皮书(2023年)》指出,异构融合计算面临着诸多问题,包括软件和硬件的协同优化不足、性能与灵活性难以兼顾、异构计算孤岛问题突显、异构计算编程框架各异等。

  其实由前面的介绍可以发现,在实际建设智算中心的时候,到底在GPU、FPGA、DSA和ASIC之间选择哪种算力和算力组合,这是一个很大的问题。GPU虽然能够应对大模型计算需求,但一卡难求以及限制性能等问题严重;DSA灵活性有限,硬件和软件架构呈现碎片化;FPGA的功耗和成本较高,主要用于原型验证,难以在实际场景中大规模落地;ASIC功能固化,缺乏足够的灵活性,而且ASIC芯片的研发周期长、成本高和风险大等,都为大规模和长期采用带来了挑战。

  另外,多异构计算的硬件层次高集成度和系统软件层次多协同、通用编程模型和开发环境等,都是行业需要解决的问题,多异构共存的异构计算孤岛现象越来越突显。特别是不同的异构计算编程框架,要求开发者掌握多种编程模式和语言,使得代码移植面临巨大挑战。寻找一个真正统一、能满足所有硬件和应用需求的编程方法,仍是当下计算领域的热门研究课题。

  《异构融合计算技术白皮书(2023年)》强调,为了充分发挥硬件性能,需要与之相应的软件和算法支持,但在实际应用中,软件和硬件之间的协同优化并不总能够实现,导致部分硬件性能无法有效发挥。中国工程院院士、清华大学计算机系教授郑纬民认为:“国产生态只要解决好编程框架、并行加速、调度器、内存分配系统、容错系统、存储系统等问题,即使只有国外芯片60%的性能,国产芯片也会大受欢迎。”

  大模型AI的出现,为重构数据中心带来了机遇。由于大模型AI天然带来海量的数据中心内部通信而不是对外通信,在将数据中心重构为智算中心的时候,就带来了“一个数据中心即为一台计算机(Data Center as a Computer)”的设计理念,这就是以系统设计为中心的原则。以系统设计为中心,即考虑一个数据中心上承载大模型训练等逻辑上单一的“大应用”,也就是数据中心级的业务系统,因此在智算中心的设计上要超越硬件和软件的传统界限,将整个数据中心作为一个协同工作的系统。有了以数据中心为一台计算机的设计理念和角度,就能找到有效的软硬件协同的异构融合计算之路。九游体育 中国官方网站

普惠AI,造就美好生活