广和通:“轻量级”小模型如何发挥“重量级”作用?

发布时间:2024-07-30 09:19
作者:AMEYA360
来源:广和通
阅读量:1724

  当大家都还在钻研参数规模达百亿甚至千亿级的大模型时,精巧且兼具性能的小模型已逐步应用于边缘智能终端与嵌入式系统,以“小身板”发挥大作用。相较于大模型,小模型更便于在计算能力和存储空间受限的智能终端运行,在边缘侧即完成计算。

广和通:“轻量级”小模型如何发挥“重量级”作用?

  端侧AI模型的趋势,变得“越来越小”。

  大模型指的是参数量巨大的机器学习模型,参数数量通常在数百亿到数千亿之间,具有强大的计算能力和推理能力,获得更好的性能。“小模型”则是参数量在数亿到数十亿之间,存储和计算资源方面的需求相对较低,能够在端侧进行部署和推理。

  为达到更好的训练效果,小模型的训练语料库可能比大模型更强大,使每一个参数更具价值。另一方面,以大模型为基础,通过知识蒸馏(Knowledge distillation)、量化、剪枝等模型压缩方法也是打造高质小模型的方式之一。今年4月,Meta发布了最新一代大模型Llama 3,其小参数模型效率高于Llama 2的大参数模型。如何让更小的模型具备更好的效果,已然是大模型公司的竞争焦点。

  相比于不得不部署于云端的千亿参数大模型,小模型可在边缘侧实现快速部署和运行,提高终端边缘计算能力和效率。这种“瘦身型”AI算力部署,将提高智能终端的运算能力,实现更多自我学习、自我工作、自我决策的功能。

广和通:“轻量级”小模型如何发挥“重量级”作用?

  广和通基于高通QCM6490处理器的解决方案搭载了8核高性能处理器,其最高达13TOPS的算力可高效地进行数据计算与处理,运行各类0.5B/1.8B/3B/7B的开源大语言模型,为智能支付、自助服务机、工业检测、具身智能等终端提供了边缘计算的能力。此外,该解决方案还可运行精简小模型,帮助客户在成本、性能、存储、效率上达到平衡。

广和通:“轻量级”小模型如何发挥“重量级”作用?

  无论是大模型,还是小模型,应用的根本是打造离用户更近的模型,助力各类场景智能化。面向端侧AI部署需求,计算效率高、资源占用少、快速迭代的小模型更能定制化地实现边缘计算能力,充分发挥“高效率”的大作用。


(备注:文章来源于网络,信息仅供参考,不代表本网站观点,如有侵权请联系删除!)

在线留言询价

相关阅读
广和通发布MGB390双频GNSS模组,解决复杂环境定位
  近日,广和通正式推出MGB390双频GNSS模组。该模组可同时接收GPS、北斗、GLONASS、Galileo、IRNSS及QZSS多卫星系统信号,支持组合定位与单系统独立运行模式,集成AGNSS辅助定位功能,搭载180个跟踪通道,为工业与消费级应用提供快速、精准、稳定的定位体验。  多系统融合,复杂城市场景定位依然稳定  城市峡谷与高楼遮挡环境下,可见卫星不足,传统单频方案定位结果经常"漂移"。MGB390同时接入六大卫星系统,配合180个跟踪通道,可见星与可用星数量大幅提升,即使在高层建筑密集区域也能保持稳定、精准的定位性能,精度与可靠性显著优于单GPS方案。  AGNSS辅助定位,开机即获位置  设备冷启动时,传统模组首次定位需要数十秒甚至更长时间,影响共享出行、资产追踪等场景的使用体验。MGB390集成AGNSS功能,提前下载星历数据,大幅缩短TTFF(首次定位时间),设备开机即定位,用户无需长时间等待。  强抗干扰设计,弱信号与复杂电磁环境下持续稳定跟踪  城市峡谷、树荫下、单双边楼遮蔽等场景信号强度低,传统模组容易失锁、信号断续。MGB390内置低噪声放大器(LNA),即使在弱信号环境下也能快速捕获并持续跟踪;声表面波滤波器(SAW)有效抑制干扰,配合内部干扰检测机制实时保障信号质量。有源天线检测、保护电路与温度监测功能为模组与天线提供全方位安全保护。  小尺寸LCC封装,便于焊接集成、加速产品上市  物联网设备小型化趋势下,MGB390采用LCC封装便于焊接,体积小巧,可快速嵌入共享单车智能锁、电摩T-Box、车队定位器等多种终端,帮助客户缩短开发周期、加速产品上市。  可广泛应用于多个场景:  共享单车/电单车:城市复杂环境下精准找车、高效调度,减少定位纠纷。  电动摩托车:实时轨迹追踪,复杂城区不失锁、不断信号。  车队管理:物流运输全流程位置可视化,优化调度效率。  危化品运输:满足行业对定位精度与可靠性的严苛要求,符合安全监管标准。  金融风控:汽车融资租赁、UBI保险等场景的位置核验与防欺诈。
2026-04-30 11:37 阅读量:382
4月23日,广和通携手珞博智能,以AI陪伴解决方案赋能座舱AI陪伴机器人「HAMOMO 哈蒙蒙」正式亮相。作为新一代AI陪伴形态,「HAMOMO 哈蒙蒙」可吸附于车机屏幕,实现多模态交互与实时响应,并支持随身携带,打破场景限制,在出行与日常陪伴场景中,提供更自然流畅的互动体验。
广和通丨广通远驰AN778车规级5G模组:DSDA双卡双通技术突破,赋能高阶智驾通信
  广通远驰5G-A车规级模组AN778基于MediaTek 天玑汽车联接平台 MT2739 开发(四核Cortex-A55,CPU 25K DMIPS),支持400MHz带宽、NR 5CC,下行速率峰值9.8Gbps、上行速率峰值 1.875Gbps,率先在模组侧完成 DSDA 3TX(双卡双通)通信能力验证,为车载多网融合与高阶智驾筑牢通信底座。  设计亮点:  双通道+冗余链路,重构车载通信  • 新一代DSDA硬件射频架构:独立射频前端实现两路SIM卡并行收发+智能协同,构建真双通道通信基座。  • 灵活制式组合:支持LTE+5G、5G+5G等多种组合,结合DL 4RX/UL 3TX领先射频性能,从容应对多网融合场景,建立高可靠冗余链路。  • 智能信号管理:双路信号实时侦听+无缝切换,解决数据中断风险,数据传输稳定性、实时性跃升,保障高速移动、多网交织下的可靠连接。  实测硬核数据:  切换快、吞吐量高、可靠性强  网络异常快速切换:  • 单TCP链路:卡间切换时延≤1s,成功率99.99%;  • 双TCP(MPTCP)链路:切换时延≤10ms,成功率99.99%; 连续多次切换,通信过程全程稳定。  双卡数据聚合: 双卡同时在线时系统无明显掉线,整体数据吞吐量较单卡提升约60%。  底层设计逻辑:  从“双活”到“聚合”的全栈优化  • ECU层:支持2路VLAN,每路对应SIM卡数据通道,通过VLAN选双链路发送(如MPTCP);  • NAD层:绑定不同VLAN流量与SIM卡,让两张卡同时“活跃”,底层实现“双活”;  • 云端:接收两路通道数据后聚合,最大化利用多网资源。  AN778的DSDA功能验证,不仅为产品迭代提供技术支撑,更为车企通信系统设计、车型迭代提供确定性参考,加速车载多链路通信能力落地,助力高阶智驾与全域互联时代到来。
2026-04-29 09:15 阅读量:277
广和通丨启幕长三角 智创新征程
  • 一周热料
  • 紧缺物料秒杀
型号 品牌 询价
CDZVT2R20B ROHM Semiconductor
TL431ACLPR Texas Instruments
BD71847AMWV-E2 ROHM Semiconductor
MC33074DR2G onsemi
RB751G-40T2R ROHM Semiconductor
型号 品牌 抢购
BU33JA2MNVX-CTL ROHM Semiconductor
STM32F429IGT6 STMicroelectronics
TPS63050YFFR Texas Instruments
ESR03EZPJ151 ROHM Semiconductor
BP3621 ROHM Semiconductor
IPZ40N04S5L4R8ATMA1 Infineon Technologies
热门标签
ROHM
Aavid
Averlogic
开发板
SUSUMU
NXP
PCB
传感器
半导体
相关百科
关于我们
AMEYA360微信服务号 AMEYA360微信服务号
AMEYA360商城(www.ameya360.com)上线于2011年,现 有超过3500家优质供应商,收录600万种产品型号数据,100 多万种元器件库存可供选购,产品覆盖MCU+存储器+电源芯 片+IGBT+MOS管+运放+射频蓝牙+传感器+电阻电容电感+ 连接器等多个领域,平台主营业务涵盖电子元器件现货销售、 BOM配单及提供产品配套资料等,为广大客户提供一站式购 销服务。

请输入下方图片中的验证码:

验证码