7月22日,边缘AI处理器芯片制造商Hailo宣布其第二代AI加速器Hailo-10H正式上市,该加速器具备强大的生成式AI功能。即日起,全球客户可从Hailo网站下载该软件并订购Hailo-10H。这标志着备受期待的首款可直接订购的独立AI处理器正式面世,该处理器原生支持边缘端的生成式AI工作负载。

图片来源: Hailo

Hailo-10H以第一代AI加速器Hailo-8的成功经验为基础,在视觉AI任务领域进一步增强了业界领先的性能,并新增了生成式AI功能,首次实现了无需依赖云连接,即可在设备端完全运行大型语言模型(LLM)、视觉语言模型(VLM)和其他生成式AI模型。这一功能的飞跃将强大的生成式AI带到了边缘设备,并实现了无与伦比的成本和能效,使Hailo-10H成为个人计算、汽车、电信、零售、安防等多个领域产品开发者的颠覆性解决方案。

Hailo首席执行官兼联合创始人Orr Danon表示:“随着Hailo-10H现已开放订购,我们朝着让AI普惠大众的使命又迈出了重要一步。这是首款将真正的生成式AI性能带到边缘的独立AI处理器,兼具高效率、高性价比和强大的软件生态系统。”

Hailo-10H与Hailo成熟且广泛采用的软件堆栈完全兼容,使开发者能够直接在边缘设备上运行最先进的视觉和生成式AI模型,并提供超低延迟的实时响应。

Hailo-10H通过在本地处理数据,确保了强大的数据隐私保护,因为个人身份信息将保留在设备上。同时,它通过最大限度地减少云带宽占用和昂贵的云端AI服务订阅需求,显著降低了系统整体成本。同样重要的是,AI的运行独立于云连接,即使在互联网访问受限或完全没有互联网的环境中也能确保持续可用性。

Hailo-10H专为消费电子、企业和汽车市场的边缘设备而设计,包括媒体中心、家庭网关和汽车驾驶舱系统,支持自然语言人机交互、视觉感知和多模态AI等高级用例,并在边缘环境典型的功耗和成本限制下无缝运行。

在性能基准测试中,Hailo-10H在生成性工作负载中展现出卓越的性能。例如,在各种2B语言和视觉语言模型上,实现了低于1秒的首个token延迟和每秒超过10个Tokens的处理速度。在视频分析方面,Hailo-10H能够在实时4K视频流上实现最先进的物体检测(例如YOLOv11m)。所有这些功能的典型功耗仅为2.5W,使其成为紧凑高效的AI系统的理想选择。Hailo-10H符合AEC-Q100 2级汽车标准,旨在用于2026年开始生产的汽车设计。