广和通：“轻量级”小模型如何发挥“重量级”作用？

发布时间：2024-07-30 09:19
作者：AMEYA360
来源：广和通
阅读量：653

　　当大家都还在钻研参数规模达百亿甚至千亿级的大模型时，精巧且兼具性能的小模型已逐步应用于边缘智能终端与嵌入式系统，以“小身板”发挥大作用。相较于大模型，小模型更便于在计算能力和存储空间受限的智能终端运行，在边缘侧即完成计算。

广和通：“轻量级”小模型如何发挥“重量级”作用？

　　端侧AI模型的趋势，变得“越来越小”。

　　大模型指的是参数量巨大的机器学习模型，参数数量通常在数百亿到数千亿之间，具有强大的计算能力和推理能力，获得更好的性能。“小模型”则是参数量在数亿到数十亿之间，存储和计算资源方面的需求相对较低，能够在端侧进行部署和推理。

　　为达到更好的训练效果，小模型的训练语料库可能比大模型更强大，使每一个参数更具价值。另一方面，以大模型为基础，通过知识蒸馏(Knowledge distillation)、量化、剪枝等模型压缩方法也是打造高质小模型的方式之一。今年4月，Meta发布了最新一代大模型Llama 3，其小参数模型效率高于Llama 2的大参数模型。如何让更小的模型具备更好的效果，已然是大模型公司的竞争焦点。

　　相比于不得不部署于云端的千亿参数大模型，小模型可在边缘侧实现快速部署和运行，提高终端边缘计算能力和效率。这种“瘦身型”AI算力部署，将提高智能终端的运算能力，实现更多自我学习、自我工作、自我决策的功能。

广和通：“轻量级”小模型如何发挥“重量级”作用？

　　广和通基于高通QCM6490处理器的解决方案搭载了8核高性能处理器，其最高达13TOPS的算力可高效地进行数据计算与处理，运行各类0.5B/1.8B/3B/7B的开源大语言模型，为智能支付、自助服务机、工业检测、具身智能等终端提供了边缘计算的能力。此外，该解决方案还可运行精简小模型，帮助客户在成本、性能、存储、效率上达到平衡。

广和通：“轻量级”小模型如何发挥“重量级”作用？

　　无论是大模型，还是小模型，应用的根本是打造离用户更近的模型，助力各类场景智能化。面向端侧AI部署需求，计算效率高、资源占用少、快速迭代的小模型更能定制化地实现边缘计算能力，充分发挥“高效率”的大作用。


（备注：文章来源于网络，信息仅供参考，不代表本网站观点，如有侵权请联系删除！）

上一篇：松下集团斩获11项红点奖!

下一篇：思瑞浦发布支持振铃抑制功能的汽车级CAN SIC收发器TPT1462xQ

在线留言询价

相关阅读
广和通：从云到端：离客户更近的端侧AI“涌现”而至
行业新闻

广和通：从云到端：离客户更近的端侧AI“涌现”而至

　　AI发展正酣，随着终端芯片算力越来越高、端侧模型能力越来越强、实时响应及隐私保护的端侧应用需求增加，端侧AI已然具备落地的条件。端侧AI离客户和应用场景更近，也是具象化AI的重要方式。可以看到，端侧AI的浪潮“涌现”而至，原有的用户体验和生态格局将迎来革命性重塑。　　端侧AI是指在终端设备(如车载智能座舱、智能除草机、机器人等终端场景或设备)上进行人工智能计算和处理，运行端侧模型。相较于云端大模型，端侧大模型在资源有限的设备上高效运行，需进一步对模型进行压缩、推理加速及能耗优化。目前轻量化模型技术包含模型剪枝、知识蒸馏和量化，以上技术往往组合使用，以达到最优的轻量化效果。将大模型部署在端侧设备中，可高效赋能智能终端，如降低延迟，更快地响应用户请求;隐私保护，减少数据传输，从而降低隐私泄露的风险;减轻云端服务器的计算负担，降低对中心化计算资源的依赖，从而降低成本;根据用户的具体设备和使用习惯进行定制化优化，提供更加个性化的服务;无网络连接的情况下也能使用，提高了应用的可用性和灵活性。　　基于大模型在端侧部署的特点和优势，已落地或即将落地的应用场景包括：智能手机、智能家居、可穿戴设备、自动驾驶汽车、工业自动化、医疗设备等。随着AI技术的进步和芯片产业的发展，端侧部署AI的挑战正逐步被克服，更多的端侧应用场景正在落地实现并逐渐成熟。　　首先，大模型本身的算法逐步在优化，在众多细分行业，模型的计算效率相较上一代均有一定量级的效率提升。模型参数变得更小，用户体验却更加智能。再者，更多参数较小的大模型被开源，且AI能力日趋成熟，例如智谱AI、阿里千问等大模型厂商都开源了亿级(0.xB左右)到百亿级(x0B)的大模型预训练模型。这大大降低了大模型应用开发者的使用门槛，同时加速端侧AI部署。此外，算法层级的技术，包括模型量化、剪枝、蒸馏为基础的模型压缩算法，以及专为端侧部署设计的软硬件平台，都正在快速发展，这使得大模型在端侧设备的部署变得更加高效。以上模型变化趋势使得端侧AI在本地所需算力、部署成本、运行效率得到大大提升，将助力各行各业智能升级。　　目前，端侧AI芯片厂商、中游模组及软件厂商、下游终端厂商的产业链上下游正积极推动 AI在端侧部署落地。多个芯片厂商已推出最新处理器，支持终端侧多模态生成式AI，并完成多款大模型的适配。广和通持续为AIoT产业提供模组及解决方案，正积极探索端侧AI相关技术，并已推出多款可应用于机器视觉、具身智能、智能割草等场景的端侧AI解决方案，满足不同终端对算力及模型的需求。　　在端侧AI应用上，广和通深度布局视觉与听觉计算，推出高算力和轻量化机器视觉解决方案，融合了先进的处理能力与边缘计算优势，采用了目标检测、关键点检测、图像分割、超分辨率、图像增强、360环视拼接等高效的视觉处理算法。此外，广和通机器视觉解决方案支持蓝牙、Wi-Fi等多种无线通信连接方式，在高端智能影像终端、工业视觉终端、车载终端、机器人均具有广泛应用场景。　　AI大模型作为当前人工智能领域的重要技术，是孕育新质生产力的重要手段。作为大模型应用的一个重要的实践领域，端侧 AI大模型的全面落地发展需要全产业链推动，包括芯片算力增强、模型优化、软件厂商适配以及终端厂商的落地应用。广和通积极整合产业上下游资源，为产业提供融合通信、算力、AI算法、AI引擎、模型等能力的端侧AI解决方案，加速AI商用至终端。
2024-12-12 11:18 阅读量：326
广和通荣膺高工机器人金球奖，推动具身智能技术新突破
企业动态

广和通荣膺高工机器人金球奖，推动具身智能技术新突破

　　近期，广和通受邀出席2024高工人形机器人年会，以具身智能开发平台Fibot精彩亮相。同期，在机器人领域备受瞩目的“2024高工金球奖”颁奖典礼上，广和通凭借其在具身智能领域的创新与应用，斩获“2024年度优秀供应链企业”。这一荣誉不仅展示了广和通在AIoT领域的深厚积累，更彰显了其具身智能解决方案在机器人产业中的数据采集和算法部署的能力。　　具身智能(Embodied Intelligence)是近年来人工智能和机器人领域的热门技术，它通过将感知、运动和认知紧密结合，使机器人能够更自然、高效地与环境交互。广和通围绕这一技术趋势，开发了具备感知、视觉、定位导航、动作控制等底层能力，可部署多种基于端到端及强化学习机器人控制算法的Fibot，为具身智能提供数据采集能力。Fibot集成了机械臂、算力主控板和全向移动底盘，具备灵活的二次开发与快速部署能力。Fibot支持机器人操作数据采集与算法部署，能帮助客户高效开发并验证端到端的模仿学习算法。　　高工机器人总经理罗思娜表示：　　广和通的具身智能开发平台Fibot展现出独特的创新能力和应用价值，为行业树立了标杆。具身智能将成为未来机器人产业发展的核心引擎，我们祝贺广和通摘得此殊荣，在AI前进道路上砥砺前行。　　广和通AIC产品管理部总经理张泫舜表示：　　我们很高兴广和通具身智能开发平台Fibot成功获得高工机器人金球奖，为客户提供数据采集和算法部署的AI解决方案。未来，我们将持续推动AI与千行百业深度融合，打造新质生产力，赋能更多企业拥抱数字化新时代。　　广和通获此殊荣是对广和通在AI技术创新的肯定。未来，广和通将继续加大在具身智能领域的研发投入，与产业链上下游伙伴紧密合作，共同推动机器人技术的突破性进展，为社会创造更多价值。
2024-12-11 13:29 阅读量：303
广和通发布5G RedCap MiFi解决方案
行业新闻

广和通发布5G RedCap MiFi解决方案

　　2024年11月，广和通发布覆盖MiFi、CPE、Dongle等全系列商用5G RedCap FWA解决方案，帮助全球运营商及终端客户即刻商用RedCap。　　通过缩减传输带宽、裁剪收发天线数、降低上下行最大调制阶数，RedCap终端相较eMBB终端复杂度下降，已成为中高速物联最佳选择。伴随着产品和技术迭代、RedCap网络建设完善，5G RedCap模组将不断达到性能、成本、功耗三者平衡点，可帮助终端快速抢占5G商用先机。　　5G SA网络是RedCap网络建设的基础条件，目前，全球运营商SA网络均在稳定部署。据GSA最新数据显示，截至2024年9月，在全球343家运营商的5G商用网络中，已有63张SA独立组网。　　据中国移动《5G轻量化技术(RedCap)行业解决方案白皮书》显示，截至2024年三季度末，中国移动开通超43万的5G RedCap基站，已经实现全国所有县城以上区域 n28(700MHz) RedCap 连续覆盖，并也已按需开通n41/n79(2.6GHz/4.9GHz )RedCap功能。再者，在连片组网性能方面，RedCap 1T2R终端在n28(700MHz)网络中上行平均速率可达 86Mbps，下行平均速率可达105Mbps。在移动性方面，RedCap 终端在现网连片组网环境下，可实现时延30ms 内的5G系统内互操作，以及时延在70ms 内的5G系统与4G 系统互操作。　　以上可以看出，RedCap在中高速率、网络连续覆盖以及4G/5G平滑切换上均可满足MiFi这种移动宽带应用的要求，将加速RedCap在MiFi的规模应用。　　广和通瞄准FWA典型应用场景，为市场提供优于5G eMBB成本、低于LTE Cat.4功耗的RedCap模组及解决方案。本次发布的RedCap MiFi解决方案搭载广和通RedCap模组FG131或FG132系列，可灵活搭配多款高通平台Wi-Fi芯片，延展出Wi-Fi能力高达3600Mbps的Wi-Fi 6E方案，1800Mbps的Wi-Fi 6方案以及867Mbps的Wi-Fi 5方案。　　广和通RedCap模组FG131&FG132系列基于骁龙X35 5G调制解调器及射频系统开发，最高下行峰值可达223Mbps，最高上行峰值达123Mbps。在无5G SA网络覆盖，并回落至4G的情况下，FG131和FG132系列仍可支持下行256QAM，最高速率可达195Mbps，相比LTE Cat.4提升33%。上行可支持64QAM，最高速率可达75Mbps，相比LTE Cat.4提升50%;　　除了优于标准RedCap的蜂窝能力，FG131&FG132系列还具备以下两大特性：支持基于Linux内核操作系统的OpenWRT，其拥有强大的网络组件，使得客户可灵活安装网络功能软件包，特别适用于MiFi、CPE等FWA终端开发。其次， FG131系列和FG132系列集成1.25Gbps SGMII接口，可高效拓展出RJ45有线网口，适用于MiFi、CPE等需带网口的FWA终端。　　得益于以上多方面优势，广和通RedCap模组FG131&FG132系列具备卓越RedCap能力，特别适用于MiFi、CPE等FWA终端，助力客户更快用好RedCap。
2024-11-22 09:29 阅读量：344
广和通机器视觉与听觉解决方案荣膺AIoT新维奖杰出案例榜
行业新闻

广和通机器视觉与听觉解决方案荣膺AIoT新维奖杰出案例榜

　　11月20日，由物联网智库、智次方研究院主办，广东省物联网协会、无锡物联网创新促进中心、深圳市物联网协会、深圳市智能传感行业协会协办的2025中国AIoT产业年会暨万物智联2.0前瞻洞察大典在深圳举办。作为AIoT产业盛会，大会评选了“AIoT新维奖”系列榜单，广和通机器视觉与听觉解决方案荣登杰出案例榜。　　机器视觉与听觉技术为智能终端提供了“眼睛”和“耳朵”，使其能够感知环境，识别物体和人体，并做出相应的反应。广和通提供在计算能力、视频编解码、图像处理、网络连接(支持蓝牙、Wi-Fi 6/6E等多种无线通信方式)等方面都具备领先优势的智能模组及解决方案，帮助客户实现机器视觉与听觉端侧部署，可在高端智能影像、工业视觉、具身机器人等领域广泛应用。　　搭载广和通机器视觉与听觉解决方案的终端可实现物体识别、分割、拼接与分类，畸变校正，追踪与计数，以及人脸识别等功能。在图像处理上，该解决方案集成先进的 GPU/NPU 加速技术和高分辨率能力，支持复杂的图像识别与编解码、目标检测和实时数据分析。解决方案还支持ChatGPT、通义千问、LIama、文心一言等大语言模型，提高信息处理效率。广和通为客户提供从机器视觉与听觉算法选择、训练、部署的端到端解决方案，提高终端部署效率。　　随着AI产业快速发展，机器视觉等技术和应用越来越广泛。广和通深度挖掘智能终端客户需求，持续投入机器视觉等端侧AI产品与技术，帮助客户用好AI。广和通也将携手AI产业伙伴，共同推动端侧AI商业落地。
2024-11-21 13:42 阅读量：411
热门分类
盒子，外壳，机架 电缆，电线 电路保护 连接器，互连器件 开发套件 机电产品 嵌入式解决方案 风扇，热管理 光电元件 其它 无源元件 电源 半导体 传感器，变送器 测试与测量
  • 一周热料
  • 紧缺物料秒杀
型号 品牌 询价
RB751G-40T2R ROHM Semiconductor
BD71847AMWV-E2 ROHM Semiconductor
CDZVT2R20B ROHM Semiconductor
MC33074DR2G onsemi
TL431ACLPR Texas Instruments
型号 品牌 抢购
IPZ40N04S5L4R8ATMA1 Infineon Technologies
STM32F429IGT6 STMicroelectronics
ESR03EZPJ151 ROHM Semiconductor
TPS63050YFFR Texas Instruments
BP3621 ROHM Semiconductor
BU33JA2MNVX-CTL ROHM Semiconductor
热门标签
ROHM
Aavid
Averlogic
开发板
SUSUMU
NXP
PCB
传感器
半导体
原厂授权品牌
更多授权品牌>>
资讯排行榜
  • 周排行榜
  • 月排行榜

相关百科
关于我们
AMEYA360微信服务号 AMEYA360微信服务号
AMEYA360商城(www.ameya360.com)上线于2011年，现 有超过3500家优质供应商，收录600万种产品型号数据，100 多万种元器件库存可供选购，产品覆盖MCU+存储器+电源芯 片+IGBT+MOS管+运放+射频蓝牙+传感器+电阻电容电感+ 连接器等多个领域,平台主营业务涵盖电子元器件现货销售、 BOM配单及提供产品配套资料等，为广大客户提供一站式购 销服务。