上游不优化我自己来！五年老卡RX 6800 XT内核魔改：MoE速度暴增至1770t/s
0
快科技5月13日消息，开发者Stormrage34近日发布llama.cpp分支TurboQuant-HIP v0.3.0版本，通过重写矩阵乘法内核，成功将AMD RX 6800 XT显卡的MoE大模型预填充速度从上游llama.cpp主分支下的约480 t/s提升至1770 t/s
该团队长期维护面向AMD GPU深度适配的llama.cpp专属分支，专门针对AMD硬件特性优化大语言模型推理性能。
打开网易新闻 查看精彩图片
上游官方版本llama.cpp此前将AMD GPU作为通用后端适配，核心计算内核均针对NVIDIA架构开发，随后直接移植到AMD后端，在RDNA2架构上存在大量带宽浪费问题，MoE场景运算完全受内存带宽限制。
该团队从HIP底层切入做针对性改进，新开发的基于BFE的IQ4_XS反量化内核，独立运行速度较原有方案提升13倍。
同时，新增异步流水线调度逻辑，将内核启动延迟和运算过程做重叠处理，直接降低31%的内核启动开销。
带来MoE场景约4倍性能跃升的核心，是实验性LDS双缓冲矩阵乘法内核，实现权重加载和DP4A计算并行，最大化利用硬件算力资源。
目前该核心优化功能仅开放手动标志位启用，仍存在对称瓦片尺寸下的LDS存储体冲突问题，导致延迟波动偏高暂不适合生产环境，完整修复方案已经制定完成。
用户可通过项目仓库提供的脚本直接构建测试版本，无需修改CMake配置文件，该分支完整保留上游全部原有功能。
打开网易新闻 查看精彩图片
特别声明：本文为网易自媒体平台“网易号”作者上传并发布，仅代表该作者观点。网易仅提供信息发布平台。
打开网易新闻体验更佳
热搜
热门跟贴
打开APP发贴
0条跟贴
相关推荐
-
AMD终于听劝了：老显卡也能跑FSR 4.1，但6000系还得等两年
奶凶的小霸王
-
英特尔Arc Pro B70实测：光栅化领先RX 9060 XT 性能超越Arc B580 36%
快科技 10跟贴
-
AMD工作站CPU首次上3D缓存，功耗飙到170瓦
我是一个养虾人 2跟贴
-
比现有快40%！美光256GB DDR5速度破9200MT/s ：功耗直降40%
快科技 1跟贴
-
4TB固态从1700刀砍到653刀，这价格终于能看了
晚星归航2
-
2026 年了，老黄还是没修好N卡这个 bug
差评XPIN 31跟贴
-
GeForce NOW六周年：生化危机新作入云，RTX 5080级恐怖体验
队友祭天法力无边 1跟贴
-
不限速的驱动更新工具！界面纯净，内置离线网卡驱动！
科技乐小天
-
学弟用了俩月的电脑，对枪一直卡，原来是被封存了实力！
爆笑奇葩哥
-
苹果防线全线血崩！Mythos5天攻破最强硬件，全球20亿台设备危了
新智元 36跟贴 -
谷歌力推Googlebook！AI战争蔓延到系统层，鼠标成新入口
雷科技 22跟贴
-
芯片巨头之争延伸至F1！英特尔签约迈凯伦：正面硬刚AMD与梅赛德斯组合
快科技 3跟贴
-
美股AI硬件股票集体下挫 美光、AMD、英特尔等均跌超5%
财联社 1跟贴
-
AMD整了个AI游戏引擎？看完专利我人麻了
菜但瘾大第一名
-
芯片领域又现巨头？ Cerebras上市遭疯抢
虎嗅APP
-
黄仁勋追妻时的恋爱细节曝光，约老婆写作业，承诺让对方功课全A
魔都姐姐杂谈 1跟贴 -
师傅在河里打捞废铁，结果吸到了钢架构柱子上，技术不到位
卡卡爱生活 87跟贴
-
宇宙做了这两件事，就是为了不让我们超越光速！
宇宙时空 4跟贴 -
这就是男人的速度
杰克看剧 1跟贴
-
OpenAI内部怒轰苹果合作：高调承诺背后实际推进乏力
财联社
回到顶部
回到首页