昆仑芯漆维:多维度创新应对大模型时代的算力挑战

发布时间:2023-09-08 09:32
作者:AMEYA360
来源:昆仑芯
阅读量:2578

  近日,2023百度云智大会于北京圆满落幕。众多人工智能领域专家、行业精英、意见领袖等齐聚一堂,共同站在大模型重构未来的新起点,展望大模型创新发展之路。

  作为百度四层架构的坚实算力底座,昆仑芯携两代芯片产品重磅亮相主会场及“智能计算&大模型技术论坛”展区。昆仑芯科技芯片研发总监漆维在专题论坛上进行精彩主题演讲,获得与会嘉宾及各级媒体的广泛关注。

  大会期间,昆仑芯以多媒体形式展示芯片产品的领先性能优势,为嘉宾直观呈现昆仑芯产品强大性能以及赋能千行百业的落地成果。

  在百度的四层架构中,昆仑芯作为强大算力底座,通过对市场需求的深刻洞察,率先布局大模型领域。同时,昆仑芯与框架、模型、应用层高效协同,通过端到端软硬逐层优化,携手打造大模型端到端解决方案,实现了百家客户、数万片规模部署。

昆仑芯漆维:多维度创新应对大模型时代的算力挑战

  昆仑芯科技芯片研发总监 漆维

  “智能计算&大模型技术论坛”上,昆仑芯科技芯片研发总监漆维带来了“昆仑芯端到端大模型算力解决方案”主题分享。面对大模型时代计算的效率和成本问题,昆仑芯通过架构创新、产品定义创新以及软件创新,打造出基于自研核心架构XPU-R的大模型产品矩阵。针对不同参数量级的大模型场景,昆仑芯兼具显存和成本优势:

  *昆仑芯AI加速卡R200-8F面向百亿以内参数量级,相比同类型产品性能提升20%;

  *昆仑芯AI加速器组R480-X8面向百亿至千亿参数量级,性能达到同类型产品的1.5倍以上;

  *昆仑芯AI加速器组R480-X8集群针对千亿以上参数量级,可实现多机多卡分布式推理。

  “作为一款人工智能芯片,从芯片完成设计到真正走向行业落地,生态是其中非常重要的环节。”漆维在演讲中分享了昆仑芯在软件生态方面的成果。目前,昆仑芯提供了针对大模型场景的昆仑芯XFT(XPU Faster Transformer)推理加速库、丰富的云原生插件。同时,昆仑芯已全面拥抱最大的大模型开源社区HuggingFace,打造了xHuggingface开源推理套件,并携手飞桨等生态伙伴构建软硬一体的AI芯片生态。

  当前,大模型的技术生态正快速发展,驱动产业实践、行业创新应用,而这离不开AI产业链各企业的加持。在圆桌论坛环节,漆维与同台专家、优秀企业家代表围绕“大模型创新发展之路”展开深入探讨。

  漆维表示:“大模型技术的发展为国内AI芯片企业带来了良好的前景,但也带来了算力需求及成本的挑战。昆仑芯始终坚持开拓创新,降低AI算力成本与使用门槛,加强与AI产业链上下游企业的合作,为市场提供更优质的产品和服务。目前,已有两代昆仑芯AI芯片实现量产和规模部署,而在研的下一代产品将为大模型和AIGC等应用提供更佳的性能体验。”

  AI算力正成为数字基建的新抓手,以及制约大模型技术发展的关键要素。作为AI芯片领域的领军企业,昆仑芯将继续秉承“让计算更智能”的使命,打造更高性能的芯片产品,提供更普惠的AI算力,携手生态伙伴领跑大模型产业落地。

  关于昆仑芯

  昆仑芯前身为百度智能芯片及架构部,于2021年4月完成独立融资,首轮估值约130亿元。核心团队在国内最早布局AI加速领域,深耕十余年,是一家在体系结构、芯片实现、软件系统和场景应用均有深厚积累的AI芯片企业。

  秉承着“让计算更智能”的使命,昆仑芯专注打造拥有强大通用性、易用性和高性能的通用AI芯片。目前,昆仑芯已实现两代通用AI芯片系列产品的量产及落地应用,在互联网、智慧工业、智慧交通、智慧金融等领域均有规模部署,帮助企业加速产业智能化布局,将AI算力赋能千行百业。如需选购昆仑芯产品,欢迎咨询AMEYA360商城在线客服!

(备注:文章来源于网络,信息仅供参考,不代表本网站观点,如有侵权请联系删除!)

在线留言询价

相关阅读
昆仑芯Anyinfer零代码实现昆仑芯AI加速卡模型推理
  当下,AI技术蓬勃发展,AI算法应用需求井喷。行业技术从业者在项目的不同阶段面临种种现实问题,这些问题无疑也增加了项目的复杂性和不确定性:  算法选型:  技术从业者极有可能遇到不同框架格式的算法模型;即便是同一个开源算法的实现,也可能是经过不同训练框架导出,因此模型的保存格式也会有所不同。  算法验证:  想在AI加速卡上评估算法的推理效果,就要针对不同推理框架的接口构造上百行代码的推理程序;如果效果不达预期,可能还需要更换其他框架的模型,这就需要重新构造一份不同的推理程序......  真正到了算法部署阶段,则将迎来更加严峻的挑战。  以上种种业内痛点,是否也在困扰您?看完这篇,基于昆仑芯AI加速卡的高效模型推理部署框架——昆仑芯Anyinfer,帮您一键全搞定!  一、昆仑芯Anyinfer  1. 昆仑芯Anyinfer架构图  2. 昆仑芯Anyinfer核心优势  A、强兼容性  在多个平台上支持零代码推理PaddlePaddle、PyTorch、ONNX、TensorFlow等多个主流框架格式的众多领域模型。  B、高人效  内置多款推理引擎,针对不同领域,用户无需学习特定框架编程接口,更不用编写多份推理程序,零代码验证模型在不同框架中的效果。  C、零代码  只需一行命令,即可完成模型验证评估,无需依据模型构建输入数据,也无需撰写模型转换、前后处理及推理脚本代码。  D、部署友好  支持C++与Python两套接口逻辑统一的API,用户在生产环境中部署模型更方便。  二、运行演示  1. 快速完成算法模型验证评估  一行命令,即可轻松验证模型精度、一键评估模型的推理性能等关键指标。  A、ONNX、PyTorch和TensorFlow模型在昆仑芯AI加速卡和CPU上的计算精度对比  B、PaddlePaddle模型在昆仑芯AI加速卡上的推理性能统计  2. 获取模型性能分析报告,为下一步模型优化做足准备  在初步完成算法模型的验证评估后,可利用昆仑芯Anyinfer深入研究模型中各个层面的性能,包括推理框架层面和算子执行层面等,助力进一步调优模型的推理性能。  3. 模型的基础性能调优  完成对模型的性能评估后,可以使用基础的调优方法来提高模型的推理性能。昆仑芯Anyinfer提供了一项非常便捷的功能:最佳QPS搜索。此功能将以往需要修改多个参数并多次执行的操作化繁为简,快速确定最适合项目需求的配置,提高用户体验。  4. 模型的高性能部署  完成算法模型的验证后,最关键的一步来了!昆仑芯Anyinfer可轻松应对生产环境部署这一挑战。仅需三个统一的C++接口,即可顺利将验证后的模型部署至生产环境中。  此外,昆仑芯Anyinfer还提供了方便的调试功能,例如算子的自动精度对比、模型转换等。同时,也提供了丰富的使用示例,包括多输入、多线程、多进程、多流推理等。种种行业痛点,昆仑芯Anyinfer轻松搞定。简洁而强大的解决方案,帮您把模型推理部署变得简单、高效。  目前,昆仑芯Anyinfer已在多个行业客户中投入使用,切实降低了行业客户人力成本,提高了项目交付效率,助力客户在行业竞争中取得领先优势。
2023-10-17 09:15 阅读量:1649
AI临港,从芯启航:昆仑芯临港办公区正式开业
  9月19日上午,在上海临港滴水湖AI创新港,昆仑芯临港办公区盛大开业。中国(上海)自由贸易试验区临港新片区党工委委员、专项办主任龚红兵、港城集团副总经理金玮琦、昆仑芯CEO欧阳剑、副总裁王勇、人力资源与行政负责人刘霜、公共事务部副总经理张嘉林等出席活动。  从左至右依次为:昆仑芯公共事务部副总经理张嘉林、昆仑芯副总裁王勇、昆仑芯CEO欧阳剑、中国(上海)自由贸易试验区临港新片区党工委委员、专项办主任龚红兵、港城集团副总经理金玮琦、昆仑芯人力资源与行政负责人刘霜。  人工智能作为上海战略部署重点发展的三大先导产业之一,是当前具有引领性的战略新技术和新一轮产业变革的核心驱动力。为全力推进人工智能产业发展,临港新片区重磅启动滴水湖AI创新港,集聚人工智能上下游企业,赋能产业创新发展。  作为我国人工智能芯片领军企业,昆仑芯秉承“让计算更智能”的使命,务实研发、攻坚克难,实现两代通用AI芯片量产,在互联网、工业、金融、能源、教育等多个领域达到过百家客户、数万片规模部署,成绩斐然。  2022年,昆仑芯正式落户临港新片区。昆仑芯上海公司成立,定位为昆仑芯最重要的研发基地之一,同时也是昆仑芯华东和华南区域的商业化基地。  上海汇聚了全国优秀的软硬件工程师,临港新片区也正在打造成为年轻人“创新创业首选地”。今年8月,临港新片区成立4周年,新一轮支持政策正在助力临港新片区更好地成为上海发展的“增长极”和“动力源”。高科技人才聚集、优厚的政策支持和良好的产业生态,各方面条件吸引昆仑芯深耕临港这片沃土。  开业仪式上,中国(上海)自由贸易试验区临港新片区党工委委员、专项办主任龚红兵表示:“作为国内最早入局人工智能加速的团队之一,昆仑芯近些年取得了业界广泛认可的成绩。期待临港新片区能涌现出更多这样的优秀企业,我们将持续提供政策支持和全方位的生活保障,与企业共绘蓝图、共建未来,携手推动AI产业的高质量发展。”  昆仑芯CEO欧阳剑在致辞中表示:“算力发展的黄金时代已来,凭借十余年的行业积累,务实自驱、卓越创新的昆仑芯人已做好攀登算力高峰的准备。未来,昆仑芯将与临港区政府、港城集团等伙伴紧密协同,为我国集成电路及AI事业贡献力量。”  昆仑芯副总裁王勇肩负上海公司组织建设的重要职责,他表示:“集成电路是临港新片区有影响力的高新产业。处于快速发展期的昆仑芯愿意同临港新片区一道,合作开展核心技术攻关,加强与新片区内上下游企业合作,吸引、培养更多高质量产业人才。”  AI临港,从芯启航。2022年昆仑芯正式落户临港,过去一年吸引了一大批优秀人才加入。今年年中,昆仑芯临港办公室正式落成,办公环境简约大气、周边配套完善, 8月份开始陆续有员工入驻。  昆仑芯临港办公区正式启用,昆仑芯信心满满,扬帆破浪踏足行,奋发向上勇攀登。而临港作为“年轻的城,年轻人的城”,也正在以日新月异的发展速度打动年轻人的心,吸引更多年轻人来到这里成长、成才、成功。
2023-09-20 10:34 阅读量:1751
签约!昆仑芯与国芯科技签订战略合作协议
  近日,国芯科技(股票简称“国芯科技”,证券代码688262.SH)与昆仑芯签署《战略合作框架协议》,双方将针对智能驾驶场景,展开在边缘AI计算、车规功能安全SoC等技术领域的长期合作,充分整合双方资源,实现优势互补,协同提升技术竞争力,共同开拓更加广阔的智能驾驶市场。  基于昆仑芯在Al技术栈方向的领先优势,以及国芯科技在边缘计算、车规功能安全SoC方向的技术积累,未来双方还将开展广泛的技术沟通与交流,共同探讨针对边缘Al场景的合作模式与技术分工,携手打造智能制造、智慧公路、智慧城市等边缘场景的端到端AI算力解决方案,构建稳定长期发展的合作关系。  国芯科技多年来一直重点布局汽车电子芯片,实现了技术与产品的先发优势。国芯科技目前已经布局了汽车域控和辅助驾驶等12条汽车电子芯片产品线,芯片产品已陆续进入比亚迪、奇瑞、吉利、上汽、长安、长城、一汽、东风、小鹏等众多汽车整机厂商,在20余款自主及合资品牌汽车上实现批量应用。截至2023年6月30日,已量产的汽车电子项目数(个)达到13个,新开发的汽车电子项目数(个)达到56个。国芯科技与众多汽车整机厂商、Tier1模组厂商形成了紧密的合作关系,在共同构建安全可靠的车规级芯片供应链的同时,通过共建汽车电子芯片实验室、共同定义新的汽车电子芯片产品、联合开发等多种合作方式,持续推出系列化高性能汽车电子芯片产品。  此次达成战略合作,将有助于国芯科技与昆仑芯针对汽车等边缘场景中AI应用,如边缘Al计算、L2+智能驾驶等,的市场落地和潜在机会挖掘,加速双方在AI领域的业务拓展,从而加快推进AI芯片在汽车自动驾驶等领域的应用落地。  在中国汽车产业跨入世界舞台中央的进程中,国芯科技与昆仑芯将紧密合作,协力推动自主研发,为发展支撑中国汽车产业升级的关键技术而务实创新,共同抓住这一历史性的产业变革机遇。
2023-09-14 09:17 阅读量:2093
首批!昆仑芯牵手宁夏建设人工智能芯片适配基地
  近日,全国首个由政府主导建设的人工智能芯片适配基地在2023中国算力大会上正式启动。昆仑芯成为首批加入人工智能芯片适配基地建设的头部企业,未来将继续凭借领先技术优势以及丰富落地成果赋能我国AI产业繁荣发展。  人工智能芯片适配基地建设启动仪式  2023年初,在工业和信息化部的大力指导下,在自治区通信管理局、工业和信息化厅的牵头部署下,银川市积极对标国家人工智能创新应用先导区要求,建设了人工智能芯片适配基地,旨在为全国GPU芯片厂商提供同平台较技、沟通对接的良好交流环境及丰富的应用、测试场景。  在工业和信息化部的支持下,目前,人工智能芯片适配基地汇集了交换中心、三大运营商、天云等本地企业力量,也吸引了AI芯片领军企业昆仑芯等成员的加入,适配基地成为了全国人工智能产业的创新和产业发展基地。  适配基地依托宁夏丰富的智能算力资源和算力应用,集聚行业内顶尖的科研机构和专业人才,配备先进的研发设施和生产能力,筹建稳定安全的人工智能芯片适配平台,为人工智能产业创新提供良好的开发与测试环境,目前已选取医疗大模型、AI视频、AI智能客服三个典型应用场景,率先开展人工智能芯片软硬件适配工作。  作为适配基地的首批参与单位,昆仑芯始终坚持开拓创新、软硬协同发展。目前,昆仑芯已量产两代芯片产品,实现百家客户、数万片部署。在为千行百业输送“更快、更强、更省”的算力的同时,昆仑芯积极携手AI产业链上下游,打造端到端解决方案,共拓AI芯片生态。  大会期间,昆仑芯携两代芯片系列产品亮相人工智能芯片适配基地,全面展示先进技术及丰富落地成果。  宁夏积极推进人工智能芯片适配基地的建设,进一步提升了宁夏在国内人工智能领域的地位和影响力。昆仑芯将与众多生态伙伴携手,为宁夏人工智能产业的创新发展作出积极贡献,进一步助力我国人工智能产业迈向新阶段。  2023 中国算力大会  2023中国算力大会由工业和信息化部、宁夏回族自治区人民政府共同主办。本届大会以“算领新产业潮流 力赋高质量发展”为主题,打造“主题论坛、成果展示、产业推介、先锋引领”四大核心内容,全面展示算力产业发展最新成果,为产业各方搭建交流合作平台。  昆仑芯  昆仑芯前身为百度智能芯片及架构部,于2021年4月完成独立融资,首轮估值约130亿元。核心团队在国内最早布局AI加速领域,深耕十余年,是一家在体系结构、芯片实现、软件系统和场景应用均有深厚积累的AI芯片企业。  秉承着“让计算更智能”的使命,昆仑芯专注打造拥有强大通用性、易用性和高性能的通用AI芯片。目前,昆仑芯已实现两代通用AI芯片系列产品的量产及落地应用,在互联网、智慧工业、智慧交通、智慧金融等领域均有规模部署,帮助企业加速产业智能化布局,将AI算力赋能千行百业。
2023-09-04 10:08 阅读量:1063
  • 一周热料
  • 紧缺物料秒杀
型号 品牌 询价
RB751G-40T2R ROHM Semiconductor
MC33074DR2G onsemi
CDZVT2R20B ROHM Semiconductor
BD71847AMWV-E2 ROHM Semiconductor
TL431ACLPR Texas Instruments
型号 品牌 抢购
ESR03EZPJ151 ROHM Semiconductor
IPZ40N04S5L4R8ATMA1 Infineon Technologies
BU33JA2MNVX-CTL ROHM Semiconductor
STM32F429IGT6 STMicroelectronics
BP3621 ROHM Semiconductor
TPS63050YFFR Texas Instruments
热门标签
ROHM
Aavid
Averlogic
开发板
SUSUMU
NXP
PCB
传感器
半导体
相关百科
关于我们
AMEYA360微信服务号 AMEYA360微信服务号
AMEYA360商城(www.ameya360.com)上线于2011年,现 有超过3500家优质供应商,收录600万种产品型号数据,100 多万种元器件库存可供选购,产品覆盖MCU+存储器+电源芯 片+IGBT+MOS管+运放+射频蓝牙+传感器+电阻电容电感+ 连接器等多个领域,平台主营业务涵盖电子元器件现货销售、 BOM配单及提供产品配套资料等,为广大客户提供一站式购 销服务。