不久前,上海交通年夜学集成电路学院张文军院士团队的“全光计较芯片”最新结果于《科学》(Science)杂志于线发表并得到编纂部Highlight重点保举。于这篇题为《年夜范围智能语义视觉天生全光芯片》的论文中,研究团队提出的全光年夜范围语义天生芯片“LightGen”,被认为是一把破解人工智能(AI)对于算力黑洞般需求的钥匙。它于某些特定使命中的计较速率、能效,比顶尖数字芯片(如英伟达A100芯片)超出跨越至少2个数目级。 对于在该结果,上海交通年夜学集成电路官网赐与了高度评价:LightGen为新一代算力芯片助力前沿人工智能“斥地了新路径”,也为摸索更高速、更高能效的天生式智能计较“提供了新的研究标的目的”。 权势巨子期刊违书、官方认证,媒体也纷纷予以存眷及报导,“降维冲击”“换道超车”等论调甚嚣尘上。然而,对于在如许一款尚存于在论文中的芯片,它可否到达人们对于“下一代算力芯片”的预期?它于特定使命中所揭示出来的对于顶尖数字芯片的“降维冲击”,可否真的兑现? 为此,论文作者、上海交通年夜学传授翟广涛近日接管《中国科学报》专访,并对于相干疑难作出了回应。 光计较芯片为什么难“挑年夜梁”?有三年夜瓶颈 《中国科学报》:请用通俗的话,注释一下光计较芯片与电子芯片有何差别? 翟广涛: 可以从计较方式的差异来理解。电子芯片的信息载体是电旌旗灯号,重要靠晶体管开关切换来计较,范围越年夜就越轻易被功耗、延迟、发烧这些实际问题“拖住”;光计较是把信息编码到光上,经由过程光场流传把年夜量运算并行地计较出来,于速率及能耗上有很强的潜于上风。可以类比为,电芯片就像是铜线德律风传动静,以电旌旗灯号为载体;而光计较芯片则像光纤宽带,速率更快、能耗更低。 举个例子,咱们的眼睛可以类似理解为简略单纯的光计较:它可以将物体的“像”从一个位置成像到视网膜上。咱们研发的光计较芯片则比这繁杂患上多,经由过程光的振幅、相位、频率、偏振等搭载信息,完成更繁杂使命,如年夜范围AI及端侧高速AI计较等。 《中国科学报》:为何光芯片于AI计较使命中,比拟传统电子芯片有更年夜上风? 翟广涛: 起首,光子的物理特征,生成适配AI对于计较“高速+低耗”的需求。光子流传速率是光速(约3×10?m/s),而电子于芯片中的迁徙速率仅为光速的千分之一。AI计较(特别是天生使命)需要年夜量数据的传输与运算,光子的高速流传能年夜幅削减“数据搬运延迟”。同时,电子于导体中运动时会因电阻而产热,这是电子芯片能耗高的一年夜主要缘故原由(好比GPU运行时需要年夜型散热装备);而光子流传历程中险些无能量损耗。 其次,AI模子(特别是天生式AI)的焦点是“年夜范围并行运算”,好比处置惩罚512×512像素图象时,需要同时对于几十万级像素点举行特性提取、矩阵运算。电子芯片受“冯?诺依曼架构”限定,数据需于存储器及运算器之间往返传输,并行度往往被硬件布局制约,而光子可以“多通道自力流传”,可削减分批次运算,光计较芯片的并行性相较电子芯片更具潜于上风。 同时,光计较芯片的上风,素质是“光子的物理特征与AI计较的焦点需求高度契合”——AI需要“高速并行、低能耗、高算力密度”,而光子的“光速流传、极低损耗、自然并行”特征,刚好精准匹配这些需求。传统电子芯片则受限在“电旌旗灯号传输延迟、能耗与发烧约束、集成极限”,难以于这些维度冲破。这也是为何光计较芯片能于AI计较中揭示出数目级的机能上风的缘故原由。 《中国科学报》:既然光芯片于速率及能耗方面有自然上风,为什么已往它没能于计较芯片中“挑年夜梁”? 翟广涛: 这几年年夜模子及天生模子成长很快。模子范围显著增加后,算力及能耗需求带来的压力就越发较着。传统芯片架构的机能增加速率,跟这类需求之间呈现了更年夜的缺口,以是各人最先存眷新的计较范式。 于这个年夜配景下,光计较等新架构也会被重复说起。然而,传统全光计较芯片更多逗留于小范围、分类使命;一旦引入光电级联或者复用,速率会被减弱,放到繁杂天生使命上,就更难表现端到真个速率及能效上风。 换言之,此前光计较芯片之以是未被年夜范围运用、没能成为焦点算力芯片,素质是三年夜瓶颈的叠加——集陈规模撑不起算力、维度变化适配不了使命、练习算法对于接不上需求。这三年夜问题让光子计较的“高速低耗”上风只能逗留于试验室的简朴使命中,没法转化为支撑年夜范围AI的现实算力,终极只能“边沿化”,难以“挑年夜梁”。 回应“逾越英伟达”质疑:“理解外界的谨慎立场” 《中国科学报》:你们团队的这项研究,针对于你上述提到的光计较芯片的瓶颈,有哪些冲破? 翟广涛: 论文的焦点亮点就是同时冲破了范畴内三个公认的瓶颈:百万级光学神经元集成、全光维度转换、无真值光芯片练习算法。 咱们采用高度集成的衍射超外貌技能,经由过程对于多层超外貌举行纳米级深度刻蚀的布局设计以实现对于光的精准调控,乐成于芯片中集成为了数百万个光子神经元,为天生使命需要重大的神经元范围问题提供了方案。 同时,团队还有研发出一种专为天生式光子计较体系量身打造的练习算法,不依靠预界说真值的练习算法,解决了天生式光子芯片怎样练习的问题。 《中国科学报》:论文中提到,LightGen于端到真个计较速率及能效上远超英伟达A100图形处置惩罚器。有不雅点认为,将还没有产物化的光子芯片与成熟的GPU横向对于比意义有限,且今朝的优胜性更多表现于理论层面,还有未能于财产中证实本身。你及团队对于此作何评价? 翟广涛: 对于在这种会商,咱们理解其审慎立场。光子芯片仍处在从试验验证走向更成熟系统的阶段,与成熟GPU举行横向比力时,外界更谨慎是正常的。 咱们论文彩用的是端到端耗时与耗能的直接丈量口径:于天生质量与前沿电子神经收集相近的同时,比力体系层面的速率与能效。需要夸大的是,年夜范围天生式使命自己往往较慢,对于端到端时延与能耗特别敏感,很多真实场景也确凿会受这两点制约,是以下一代算力芯片可否有用支撑这种使命具备实际意义。 从这个角度看,论文成果是于端到端口径下,展示了全光线路于年夜范围天生式使命上的可行性与潜力;同时也申明了若干要害难点冲破对于在全光片上实现年夜范围天生式收集的主要意义,为下一代算力芯单方面向天生式智能计较提供了一条可连续摸索的路径。 《中国科学报》:最近几年来,光子芯片范畴经常给人“雷声年夜雨点小”的印象,对于此你怎么看? 翟广涛: 前沿标的目的于从观点走到可验证、再到可用系统的历程中,外界会有“雷声年夜雨点小”的担心,这个咱们理解。光子芯片这条途经去常常被重复会商,重要是由于许多全光计较芯片逗留于小范围、分类使命上。面临繁杂的使命,光电级联或者复用带来的速率能效上风丧失会更较着,与年夜范围天生式使命还有有间隔。 而像LightGen这类前瞻性的事情,冲破性于在将全光芯片的合用规模拓展到了年夜范围天生式神经收集。咱们更但愿用持久的视角去看它的价值。 全光天生式AI芯片,并不是“灵光一现” 《中国科学报》:LightGen解决了一个甚么层面的问题,它最年夜的实际意义是甚么? 翟广涛: 从近几年年夜模子的成长节拍看,模子能力连续加强,运用也于加快走向出产糊口。与之相伴的是,年夜范围模子带来的端到端时延与能耗压力不停凸显。很多天生式使命对于这两点高度敏感,往往也会是以受限。 于如许的配景下,学术界及财产界才会更广泛地存眷下一代算力芯片。焦点诉求很明确:芯片要可以或许履行真实世界需要的使命,特别是年夜范围天生模子相干使命。 LightGen对准的恰是这一层面——面向年夜范围天生式智能计较给出一条新的路径,使新一代算力芯片更切近前沿人工智能的现实需求,同时为更高速、更高能效的天生式智能计较拓展了新的研究标的目的。 《中国科学报》:你们是怎么想到这个解决方案的?研究中最坚苦之处是甚么? 翟广涛: 早于2019年,咱们的助理传授陈一彤(这次论文第一作者)就最先思索怎样以全光实现天生式模子,并于Science Advances发表了国际首个全光天生式收集。思索这个设法时,当前风行的天生式模子还没有大肆走入公家视线,也未引起广泛的存眷。 于进一步推进时咱们发明,真正坚苦之处于在,下一代算力芯片可否履行真实世界所需的使命,特别是年夜范围天生模子这种对于端到端时延与能耗很敏感的使命。 缭绕“让下一代算力光芯片撑持繁杂天生模子”这个公认难题,咱们一步步推进,终极形成为了全光年夜范围语义天生芯片LightGen,这也是国际初次实现的年夜范围全光天生式AI芯片。 这个历程不是灵光一现。咱们把问题拆开慢慢解决,先确认要害瓶颈,然后重复斟酌,中间也踩过不少坑,末了逐渐迭代才形成此刻的结果。 《中国科学报》:与过往一些光计较芯片比拟,你们有哪些差别? 翟广涛: 已往许多全光计较芯片重要局限在小范围、分类使命,光电级联或者复用又会严峻减弱光计较速率,以是怎样让下一代算力光芯片能运行繁杂天生模子一直是一个难题。 咱们这项事情则是面向真实世界所需的使命,将全光芯片的合用规模拓展到了年夜范围天生式神经收集。这是业内初次实现的年夜范围全光天生式AI芯片,试验笼罩了高分辩率(≥512×512)图象语义天生、3D天生、高清视频天生和语义调控、去噪、局部和全局特性迁徙等多项年夜范围天生式使命。 更要害的是,咱们不是用电辅助光天生的方式,而是让全光芯片完备走完输入图象、理解语义、语义操控、天生全新媒体数据的端到端历程,让光具有“理解”及“认知”语义的能力。 《中国科学报》:从这项结果出发,团队将来于技能线路及产物化思绪上有哪些计划? 翟广涛: 技能上,咱们会继承沿着新一代算力芯片这条主线推进,缭绕年夜范围模子相干使命于端到端时延与能耗上的真实需求上连续深切。咱们认为,LightGen有望率先于内容出产流程中实现运用,照实时预览、极速出图等最“吃”算力且最需要及时反馈的环节。 财产化层面,咱们已经经与工业界互助开展运用实践,后续将继承与财产方紧密亲密互助,使研究更慎密对于接真实需求。 实习生张昊睿对于本文亦有孝敬 相干论文信息: science.org/doi/10.1126/science.adv7434
论文截图。
翟广涛传授(中)课题组合影。团队供图,下同
陈一彤(右)于试验室。