【英伟达实验室:用内核设计智能体优化Kimi线性注意力,提速达2.96倍】

49分钟前
【英伟达实验室:用内核设计智能体优化Kimi线性注意力,提速达2.96倍】报道,9月27日,据NVIDIA Labs博客《KDA²》,其内核设计智能体(KDAgent)已能自主优化Moonshot AI的Kimi Delta Attention(KDAttn)算子。在英伟达B300、8,192 tokens下,相对官方FlashKDA基线:TIRx版几何平均加速2.96倍、CAKE-PTX版2.94倍、CuTe-DSL版2.85倍;同时新内核将8k tokens最终状态的相对误差由FlashKDA的3.45%降至0.22%(CuTe)与0.29%(TIRx),约为其十分之一。内核已开源。
免责声明:
内容来源金色财经、欧意交易所、gate.io交易平台以及Binance交易所官网
本站不对其做任何背书,也不代表赞成作者观点,如有失察或对您造成影响,可联系我们删除

发表评论

快捷回复: 表情:
AddoilApplauseBadlaughBombCoffeeFabulousFacepalmFecesFrownHeyhaInsidiousKeepFightingNoProbPigHeadShockedSinistersmileSlapSocialSweatTolaughWatermelonWittyWowYeahYellowdog
验证码
评论列表 (暂无评论,3人围观)

还没有评论,来说两句吧...