昆仑芯科技副总裁孙孝思:AI大模型的突破与创新需要算力基础设施

发布时间:2023-03-09 10:13
作者:Ameya360
来源:网络
阅读量:1912

  2022年是整个人工智能芯片行业充满挑战的一年,从业者们都感受到丝丝寒意。因为2022年不仅处于疫情的波动期中,国际形势还对整个人工智能产业带来了限制。然而进入2023年后,CHATGPT带来了一点暖意。CHATGPT可以说是迄今为止增长最快的消费应用程序,它不是一触即发的,而是基于其前三代,不断迭代产生的,直到今天的爆发。

  为什么如今有更多的人关注它,很多演讲人也不断提及它?因为CHATGPT带来了质的飞跃,超越了人类平均基准线。

昆仑芯科技副总裁孙孝思:AI大模型的突破与创新需要算力基础设施

  来源:GARTNER2022年人工智能技术成熟度曲线

  GARTNER在2022年发布了一个人工智能技术成熟度曲线,生成式人工智能处于技术萌芽和期望的膨胀期,也就是说,技术从最初我们在人工智能的理解上,开始慢慢向发展阶段过渡,这对于人工智能产业中,无论是做芯片、框架,还是做算法的人来说,都是一个极大的利好。

  01

  CHATGPT背后:

  算法、数据、算力三要素共振

  CHATGPT背后是什么?今天在场的郑纬民院士以及其他很多演讲者此前都有提到,根源在于算法、数据、算力三个要素之间的共振。

  算力方面,现在的CHATGPT是基于GPT3.5的大模型,在训练中使用了微软专门建设的AI计算系统,由1万个业界主流GPU组成的高性能网络集群,总算力消耗约3640 PF-DAYS。

  数据方面,GPT-2的数据量是40G,GPT3的数据量达到了45TB,这是一个大规模的数据量的跃升。

  算法方面,如前所述,它不是一蹴而就的,而是经过了几次迭代。

  这几年的数据、算法、算力方面都有非常大的变化。中国在数据方面非常有优势,我们有场景、有大量的数据。在算法方面,实现了跨模态的融合,包括语音、图文、视频等很多方向。算力供给方面,这几年全国各地都在推进算力建设,我们相信未来国内的应用会有很大的变化和增长。

  02

  AI大模型应用突破与技术创新:

  目前,国内有很多关于CHATGPT的研究,除了清华大学的“八卦炉”,还有阿里、腾讯的大模型,也包括百度。百度即将在3月16日发布的文心一言,背后其实也是大参数、大算力、大数据量。我们可以意识到,未来的应用突破和技术创新需要算力的基础设施。

  也许有人会问,下一个CHATGPT到底是什么?现在火爆的聊天、语音生成属于CHATGPT的范畴,但是未来会有很多的衍生物,例如文本生成、视频生成、音频生成、虚拟人生成方面。

  我们认为,未来会有几个依托于算力的大场景,其中一大场景就是自动驾驶。自动驾驶场景中,模型感知和场景库的仿真训练需要上千P的算力。目前,我们跟新能源头部车企有很多紧密联动,我们发现自动驾驶的发展需要算力来提供技术的突破和跃升。生物医药也对算力有很强的需求,我们也看到了人工智能发挥的作用,例如ALPHAFOLD已预测出全球几乎所有已知蛋白质结构。

  可能有很多算力基础设施商都在思考,建了那么多数据中心、算力中心,到底应用在哪些地方?我们回顾一下,北京最早的京藏高速,我们叫G6,建设初期一辆车都没有,但今天却是北京堵车最严重的一条高速公路。还有4G网络,最早国家在建设4G网络的时候,大家都认为3G网络已经足够用了,为什么要上4G?为什么要投入那么大的成本?但今天看来,也有人觉得4G网络卡。所以我们要重新理解算力,它其实是信息基础设施。

  算力网络的布局会很大程度激发人工智能的应用和技术创新。

  目前,算力成本普遍偏高,有很多中小企业的创新在一定程度上受到了成本的影响。例如,复旦大学做MOSS大模型的时候,也会考虑到学校、科研机构是否能够承担起大模型的训练。

  从政府、国家、行业的角度看,我们怎么能够实现算力的普惠?我相信2023年之后,在算力建设过程当中,除了我们这些企业,各方都将更多参与进来,这样才能够真正实现普惠,大大降低企业使用算力的成本。

  03

  场景、数据驱动下人工智能芯片的挑战

  算力对于场景的创新很重要。但是作为一个人工智能芯片的企业,我们也充分认识到,在市场需求打开的情况下,整个人工智能芯片也面临巨大挑战。

昆仑芯科技副总裁孙孝思:AI大模型的突破与创新需要算力基础设施

  资料来源:《AI算力的阿喀琉斯之踵:内存墙》

  上图中,蓝线上是视频、自然语言处理和语音模型,其模型运算量平均每两年翻15倍;红线上TRANSFORMER的这种神经网络大模型,其模型运算量平均每两年会翻750倍;而灰线则标志摩尔定律下内存硬件大小的增长,平均每两年翻2倍。

  因此,可以由此想到两点:第一,未来摩尔定律会面临失效的风险;第二,要考虑内存墙的存在。对于整个芯片行业的发展来说,如何在未来的演进中找到突破口,其实CHIPLET是一个方向。可见,先进封装技术对于AI芯片行业将是一个重要的助推器。这几年,昆仑芯科技也在这方面做了很多基础研发。

  人工智能芯片离不开工程实现,为什么这么说?因为它毕竟是一个产品,想要在行业跟场景紧密结合,必须解决三个问题:通用性、易用性和性价比。

  企业、高校可以在基础科研上做很多的探索,人工智能芯片企业同时必须要考虑到它的应用、商业化落地等问题。如何去解决通用性、易用性和性价比的问题,是人工智能芯片厂商共同面临的挑战。

  芯片不是一个标品。在硬件层面,我们可以达到业界主流GPU产品差不多的性能指标,但在软件层面上差距较大。从同行的角度来看,我们需要自己的软件栈去解决通用性问题,也要给开发者提供更好的软件栈,让开发者可以基于国内的人工智能芯片做开发。

  04

  结语

  昆仑芯科技前身是百度智能芯片及架构部,虽成立不久,却已有十余年的芯片研发经验。基于百度丰富的AI场景积累,昆仑芯产品实现了与场景需求、客户需求的紧密耦合。

  基于对场景的深刻理解,昆仑芯与智能产业的上下游携手,逐步构建起软硬一体化的AI芯片生态。目前,昆仑芯产品已与百度飞桨、PYTORCH、TENSORFLOW等主流框架和服务器完成适配。

  完善解决方案才能够真正赋能产业。昆仑芯两代芯片产品均已实现量产,并凭借其强大通用性、易用性和高性能,广泛部署在智慧金融、智慧交通、智慧工业等领域,不断提供更优秀、更高效的解决方案,为客户提供更好的服务。

  未来,我们希望可以和在座的同行们一起共筑合力,赋能芯片产品与应用场景更紧密结合,在人工智能产业发展中构建更加繁荣的生态系统。


(备注:文章来源于网络,信息仅供参考,不代表本网站观点,如有侵权请联系删除!)

在线留言询价

相关阅读
昆仑芯Anyinfer零代码实现昆仑芯AI加速卡模型推理
  当下,AI技术蓬勃发展,AI算法应用需求井喷。行业技术从业者在项目的不同阶段面临种种现实问题,这些问题无疑也增加了项目的复杂性和不确定性:  算法选型:  技术从业者极有可能遇到不同框架格式的算法模型;即便是同一个开源算法的实现,也可能是经过不同训练框架导出,因此模型的保存格式也会有所不同。  算法验证:  想在AI加速卡上评估算法的推理效果,就要针对不同推理框架的接口构造上百行代码的推理程序;如果效果不达预期,可能还需要更换其他框架的模型,这就需要重新构造一份不同的推理程序......  真正到了算法部署阶段,则将迎来更加严峻的挑战。  以上种种业内痛点,是否也在困扰您?看完这篇,基于昆仑芯AI加速卡的高效模型推理部署框架——昆仑芯Anyinfer,帮您一键全搞定!  一、昆仑芯Anyinfer  1. 昆仑芯Anyinfer架构图  2. 昆仑芯Anyinfer核心优势  A、强兼容性  在多个平台上支持零代码推理PaddlePaddle、PyTorch、ONNX、TensorFlow等多个主流框架格式的众多领域模型。  B、高人效  内置多款推理引擎,针对不同领域,用户无需学习特定框架编程接口,更不用编写多份推理程序,零代码验证模型在不同框架中的效果。  C、零代码  只需一行命令,即可完成模型验证评估,无需依据模型构建输入数据,也无需撰写模型转换、前后处理及推理脚本代码。  D、部署友好  支持C++与Python两套接口逻辑统一的API,用户在生产环境中部署模型更方便。  二、运行演示  1. 快速完成算法模型验证评估  一行命令,即可轻松验证模型精度、一键评估模型的推理性能等关键指标。  A、ONNX、PyTorch和TensorFlow模型在昆仑芯AI加速卡和CPU上的计算精度对比  B、PaddlePaddle模型在昆仑芯AI加速卡上的推理性能统计  2. 获取模型性能分析报告,为下一步模型优化做足准备  在初步完成算法模型的验证评估后,可利用昆仑芯Anyinfer深入研究模型中各个层面的性能,包括推理框架层面和算子执行层面等,助力进一步调优模型的推理性能。  3. 模型的基础性能调优  完成对模型的性能评估后,可以使用基础的调优方法来提高模型的推理性能。昆仑芯Anyinfer提供了一项非常便捷的功能:最佳QPS搜索。此功能将以往需要修改多个参数并多次执行的操作化繁为简,快速确定最适合项目需求的配置,提高用户体验。  4. 模型的高性能部署  完成算法模型的验证后,最关键的一步来了!昆仑芯Anyinfer可轻松应对生产环境部署这一挑战。仅需三个统一的C++接口,即可顺利将验证后的模型部署至生产环境中。  此外,昆仑芯Anyinfer还提供了方便的调试功能,例如算子的自动精度对比、模型转换等。同时,也提供了丰富的使用示例,包括多输入、多线程、多进程、多流推理等。种种行业痛点,昆仑芯Anyinfer轻松搞定。简洁而强大的解决方案,帮您把模型推理部署变得简单、高效。  目前,昆仑芯Anyinfer已在多个行业客户中投入使用,切实降低了行业客户人力成本,提高了项目交付效率,助力客户在行业竞争中取得领先优势。
2023-10-17 09:15 阅读量:1531
AI临港,从芯启航:昆仑芯临港办公区正式开业
  9月19日上午,在上海临港滴水湖AI创新港,昆仑芯临港办公区盛大开业。中国(上海)自由贸易试验区临港新片区党工委委员、专项办主任龚红兵、港城集团副总经理金玮琦、昆仑芯CEO欧阳剑、副总裁王勇、人力资源与行政负责人刘霜、公共事务部副总经理张嘉林等出席活动。  从左至右依次为:昆仑芯公共事务部副总经理张嘉林、昆仑芯副总裁王勇、昆仑芯CEO欧阳剑、中国(上海)自由贸易试验区临港新片区党工委委员、专项办主任龚红兵、港城集团副总经理金玮琦、昆仑芯人力资源与行政负责人刘霜。  人工智能作为上海战略部署重点发展的三大先导产业之一,是当前具有引领性的战略新技术和新一轮产业变革的核心驱动力。为全力推进人工智能产业发展,临港新片区重磅启动滴水湖AI创新港,集聚人工智能上下游企业,赋能产业创新发展。  作为我国人工智能芯片领军企业,昆仑芯秉承“让计算更智能”的使命,务实研发、攻坚克难,实现两代通用AI芯片量产,在互联网、工业、金融、能源、教育等多个领域达到过百家客户、数万片规模部署,成绩斐然。  2022年,昆仑芯正式落户临港新片区。昆仑芯上海公司成立,定位为昆仑芯最重要的研发基地之一,同时也是昆仑芯华东和华南区域的商业化基地。  上海汇聚了全国优秀的软硬件工程师,临港新片区也正在打造成为年轻人“创新创业首选地”。今年8月,临港新片区成立4周年,新一轮支持政策正在助力临港新片区更好地成为上海发展的“增长极”和“动力源”。高科技人才聚集、优厚的政策支持和良好的产业生态,各方面条件吸引昆仑芯深耕临港这片沃土。  开业仪式上,中国(上海)自由贸易试验区临港新片区党工委委员、专项办主任龚红兵表示:“作为国内最早入局人工智能加速的团队之一,昆仑芯近些年取得了业界广泛认可的成绩。期待临港新片区能涌现出更多这样的优秀企业,我们将持续提供政策支持和全方位的生活保障,与企业共绘蓝图、共建未来,携手推动AI产业的高质量发展。”  昆仑芯CEO欧阳剑在致辞中表示:“算力发展的黄金时代已来,凭借十余年的行业积累,务实自驱、卓越创新的昆仑芯人已做好攀登算力高峰的准备。未来,昆仑芯将与临港区政府、港城集团等伙伴紧密协同,为我国集成电路及AI事业贡献力量。”  昆仑芯副总裁王勇肩负上海公司组织建设的重要职责,他表示:“集成电路是临港新片区有影响力的高新产业。处于快速发展期的昆仑芯愿意同临港新片区一道,合作开展核心技术攻关,加强与新片区内上下游企业合作,吸引、培养更多高质量产业人才。”  AI临港,从芯启航。2022年昆仑芯正式落户临港,过去一年吸引了一大批优秀人才加入。今年年中,昆仑芯临港办公室正式落成,办公环境简约大气、周边配套完善, 8月份开始陆续有员工入驻。  昆仑芯临港办公区正式启用,昆仑芯信心满满,扬帆破浪踏足行,奋发向上勇攀登。而临港作为“年轻的城,年轻人的城”,也正在以日新月异的发展速度打动年轻人的心,吸引更多年轻人来到这里成长、成才、成功。
2023-09-20 10:34 阅读量:1665
签约!昆仑芯与国芯科技签订战略合作协议
  近日,国芯科技(股票简称“国芯科技”,证券代码688262.SH)与昆仑芯签署《战略合作框架协议》,双方将针对智能驾驶场景,展开在边缘AI计算、车规功能安全SoC等技术领域的长期合作,充分整合双方资源,实现优势互补,协同提升技术竞争力,共同开拓更加广阔的智能驾驶市场。  基于昆仑芯在Al技术栈方向的领先优势,以及国芯科技在边缘计算、车规功能安全SoC方向的技术积累,未来双方还将开展广泛的技术沟通与交流,共同探讨针对边缘Al场景的合作模式与技术分工,携手打造智能制造、智慧公路、智慧城市等边缘场景的端到端AI算力解决方案,构建稳定长期发展的合作关系。  国芯科技多年来一直重点布局汽车电子芯片,实现了技术与产品的先发优势。国芯科技目前已经布局了汽车域控和辅助驾驶等12条汽车电子芯片产品线,芯片产品已陆续进入比亚迪、奇瑞、吉利、上汽、长安、长城、一汽、东风、小鹏等众多汽车整机厂商,在20余款自主及合资品牌汽车上实现批量应用。截至2023年6月30日,已量产的汽车电子项目数(个)达到13个,新开发的汽车电子项目数(个)达到56个。国芯科技与众多汽车整机厂商、Tier1模组厂商形成了紧密的合作关系,在共同构建安全可靠的车规级芯片供应链的同时,通过共建汽车电子芯片实验室、共同定义新的汽车电子芯片产品、联合开发等多种合作方式,持续推出系列化高性能汽车电子芯片产品。  此次达成战略合作,将有助于国芯科技与昆仑芯针对汽车等边缘场景中AI应用,如边缘Al计算、L2+智能驾驶等,的市场落地和潜在机会挖掘,加速双方在AI领域的业务拓展,从而加快推进AI芯片在汽车自动驾驶等领域的应用落地。  在中国汽车产业跨入世界舞台中央的进程中,国芯科技与昆仑芯将紧密合作,协力推动自主研发,为发展支撑中国汽车产业升级的关键技术而务实创新,共同抓住这一历史性的产业变革机遇。
2023-09-14 09:17 阅读量:2052
昆仑芯漆维:多维度创新应对大模型时代的算力挑战
  近日,2023百度云智大会于北京圆满落幕。众多人工智能领域专家、行业精英、意见领袖等齐聚一堂,共同站在大模型重构未来的新起点,展望大模型创新发展之路。  作为百度四层架构的坚实算力底座,昆仑芯携两代芯片产品重磅亮相主会场及“智能计算&大模型技术论坛”展区。昆仑芯科技芯片研发总监漆维在专题论坛上进行精彩主题演讲,获得与会嘉宾及各级媒体的广泛关注。  大会期间,昆仑芯以多媒体形式展示芯片产品的领先性能优势,为嘉宾直观呈现昆仑芯产品强大性能以及赋能千行百业的落地成果。  在百度的四层架构中,昆仑芯作为强大算力底座,通过对市场需求的深刻洞察,率先布局大模型领域。同时,昆仑芯与框架、模型、应用层高效协同,通过端到端软硬逐层优化,携手打造大模型端到端解决方案,实现了百家客户、数万片规模部署。  昆仑芯科技芯片研发总监 漆维  “智能计算&大模型技术论坛”上,昆仑芯科技芯片研发总监漆维带来了“昆仑芯端到端大模型算力解决方案”主题分享。面对大模型时代计算的效率和成本问题,昆仑芯通过架构创新、产品定义创新以及软件创新,打造出基于自研核心架构XPU-R的大模型产品矩阵。针对不同参数量级的大模型场景,昆仑芯兼具显存和成本优势:  *昆仑芯AI加速卡R200-8F面向百亿以内参数量级,相比同类型产品性能提升20%;  *昆仑芯AI加速器组R480-X8面向百亿至千亿参数量级,性能达到同类型产品的1.5倍以上;  *昆仑芯AI加速器组R480-X8集群针对千亿以上参数量级,可实现多机多卡分布式推理。  “作为一款人工智能芯片,从芯片完成设计到真正走向行业落地,生态是其中非常重要的环节。”漆维在演讲中分享了昆仑芯在软件生态方面的成果。目前,昆仑芯提供了针对大模型场景的昆仑芯XFT(XPU Faster Transformer)推理加速库、丰富的云原生插件。同时,昆仑芯已全面拥抱最大的大模型开源社区HuggingFace,打造了xHuggingface开源推理套件,并携手飞桨等生态伙伴构建软硬一体的AI芯片生态。  当前,大模型的技术生态正快速发展,驱动产业实践、行业创新应用,而这离不开AI产业链各企业的加持。在圆桌论坛环节,漆维与同台专家、优秀企业家代表围绕“大模型创新发展之路”展开深入探讨。  漆维表示:“大模型技术的发展为国内AI芯片企业带来了良好的前景,但也带来了算力需求及成本的挑战。昆仑芯始终坚持开拓创新,降低AI算力成本与使用门槛,加强与AI产业链上下游企业的合作,为市场提供更优质的产品和服务。目前,已有两代昆仑芯AI芯片实现量产和规模部署,而在研的下一代产品将为大模型和AIGC等应用提供更佳的性能体验。”  AI算力正成为数字基建的新抓手,以及制约大模型技术发展的关键要素。作为AI芯片领域的领军企业,昆仑芯将继续秉承“让计算更智能”的使命,打造更高性能的芯片产品,提供更普惠的AI算力,携手生态伙伴领跑大模型产业落地。  关于昆仑芯  昆仑芯前身为百度智能芯片及架构部,于2021年4月完成独立融资,首轮估值约130亿元。核心团队在国内最早布局AI加速领域,深耕十余年,是一家在体系结构、芯片实现、软件系统和场景应用均有深厚积累的AI芯片企业。  秉承着“让计算更智能”的使命,昆仑芯专注打造拥有强大通用性、易用性和高性能的通用AI芯片。目前,昆仑芯已实现两代通用AI芯片系列产品的量产及落地应用,在互联网、智慧工业、智慧交通、智慧金融等领域均有规模部署,帮助企业加速产业智能化布局,将AI算力赋能千行百业。如需选购昆仑芯产品,欢迎咨询AMEYA360商城在线客服!
2023-09-08 09:32 阅读量:2486
  • 一周热料
  • 紧缺物料秒杀
型号 品牌 询价
MC33074DR2G onsemi
BD71847AMWV-E2 ROHM Semiconductor
RB751G-40T2R ROHM Semiconductor
TL431ACLPR Texas Instruments
CDZVT2R20B ROHM Semiconductor
型号 品牌 抢购
STM32F429IGT6 STMicroelectronics
ESR03EZPJ151 ROHM Semiconductor
BU33JA2MNVX-CTL ROHM Semiconductor
BP3621 ROHM Semiconductor
IPZ40N04S5L4R8ATMA1 Infineon Technologies
TPS63050YFFR Texas Instruments
热门标签
ROHM
Aavid
Averlogic
开发板
SUSUMU
NXP
PCB
传感器
半导体
相关百科
关于我们
AMEYA360微信服务号 AMEYA360微信服务号
AMEYA360商城(www.ameya360.com)上线于2011年,现 有超过3500家优质供应商,收录600万种产品型号数据,100 多万种元器件库存可供选购,产品覆盖MCU+存储器+电源芯 片+IGBT+MOS管+运放+射频蓝牙+传感器+电阻电容电感+ 连接器等多个领域,平台主营业务涵盖电子元器件现货销售、 BOM配单及提供产品配套资料等,为广大客户提供一站式购 销服务。