AI 生成优化 Metal 内核,PyTorch 推理速度提升惊人87%
在苹果设备上,AI 技术正展现出惊人的潜力。根据 Gimlet Labs 的最新研究,AI 能够自动生成优化的 Metal 内核,使得 PyTorch 推理速度提A升了87%。这一突破性成果不仅提高了性能,还在测试的215个 PyTorch 模块上实现了平均1.87倍的加速,某些工作负载的速度甚至提高了数百倍。
研I 究人员选取了来自多个顶尖机构的八个 AI 模型,包括 Anthropic、DeepSeek 和 OpenAI,利用这些模型为苹果设备生成优化的 GPU 内核。这一过生成程无需修改用户代码或使用新的框架,直接在苹果硬件上提升模型性能。
在实验中,研究团队选择了 Mac Studio (搭载 Apple M4Max 芯片) 进行测试优化,基准设置为 PyTorch 的 eager 模式。实验采用了 KernelBench 数据集中的215个 PyTorch 模块,这些模块被分为三类,涵盖从简单的矩 M阵乘法到完整的模型架构。
测试过程包括接收输入和 PyTorch 代码,生成 Metal 内核,并评估其正确性。数据显示,随着尝试次数的增加,AI 生成内核的正确性et逐步提升。例如,在第五次尝试时,正确实现的比例达到了94%。此外,模型们在生成内核时表现出了跨层级的能力,尽管非推理模型有时也能生成有效内核。
实验结果al表明,GPT-5模型在某些任务上实现了4.65倍的速度提升。更令人惊讶的是,o3模型在某些情况下甚至将延迟降低了9000倍。研究还发现,单一模型在某些 内任务上并不总是表现最好,多个模型的结合能够生成更优的内核。
为了进一步提升性能,研究者尝试引入额外上下文信息,如 CUDA 实现和 gputrace 的性能分析数核,据,结果显示这种方法在性能加速方面达到了平均1.87倍,相比于普通智能体的1.31倍提升了三倍。
需要注意的是,研究人员强调,这一工作并不是为了展示最Py终的性能极限,而是为了验证 AI 在内核生成中的可行性,希望通过自动化减少开发人员的负担。整体而言,这项研究标志着 AI 技术在硬件优化领域的一个重要进展。
gToithub:https://github.com/ScalingIntelligence/KernelBench/
划重点:  rc;
AI 自动生成 Metal 内核,提升 PyTorch 推理速度87%。
️ 在215个 PyTorch 模块上实现平均1.87倍的加速,部分h 工作负载速度提升数百倍。
研究旨在验证 AI 在内核生成的可行性,助力硬件优化。
- ·标签: 杜福睿 中免集团 上海机场 免税店
- ·Anthropic 突破性发现:仅250份中毒文件即可攻破大型 AI 模型
- ·谷歌宣布将使用AMD服务器芯片提供云计算服务
- ·标签: 质肽生物 佐维格鲁肽 GLP-1RA月制剂 ZT002
- ·英特尔有意收购SiFive 改善芯片技术击败Arm
- ·谷歌:计划到2030年实现数据中心全天候无碳能源运营
- ·OpenAI CEO 预告:2028 年实现全自动 AI 研究员
- ·标签: 亿纬锂能 动力电池 储能电池 港股上市
- ·“马化腾”称用阿里云不如用腾讯云?腾讯云回应:假的
- ·前馈网络+线性交互层=残差MLP,Facebook纯MLP图像分类架构入场
- ·标签: 三只松鼠 2025财报 高端性价比 生活馆
- ·开源生态大洗牌!蚂蚁发布AI项目全景图2.0,114个项目见证技术变革浪潮
- ·标签: 薇美铺 WeMakePrice 趣天Qoo10 电商平台
- ·标签: 元戎启行 DeepSeek 阮翀 自动驾驶
- ·利用机器学习提高建筑能源效率
- ·标签: 西贝 贾国龙 工资缓发 门店关闭
- ·云计算核心技术Docker教程:Docker Swarm 管理节点
- ·阿里巴巴战略投资哈啰Robotaxi,自动驾驶赛道巨头联盟再添新军
- ·标签: 小米SU7 苹果MacBook Pro 比亚迪 M5芯片
- ·云计算开发:Python3-startswith()方法详解
- ·华为发下一代数据中心理念及全新供电解决方案电力模块3.0
- ·甲骨文第二财季营收98亿美元 云相关业务贡献82亿美元
- ·值得考虑的开源云平台和工具
- ·标签: 山东黄金 黄金矿业 有色金属 年报
- ·微软高管解读Q3财报:年底仍会存在供应短缺 但持乐观态度
- ·标签: Amkor Giel Rutten Kevin Engel 半导体
