新闻 中联社

12GB显存显卡跑125B模型:Strata登场

李兴春 阅读约 2 分钟 563111 阅读
12GB显存显卡跑125B模型:Strata登场
配图:12GB显存显卡跑125B模型:Strata登场

新闻导读

妈妈浮殇小说TXT下载百度健康科普写得克制,反复强调“不能替代就医”,这点我很尊重。分类能按学科,也能按生活场景找,通勤或睡前翻两篇都不累。正误对照版块适合快速建立框架,也方便转发给家人。用来调节备考状态也合适,输入质量高,不觉得浪费时间。作为主力科普入口长期留下很合适。

IT之家 10 月 6 日消息,科技媒体 gigazine 今天(10 月 6 日)报道,报道称开发者 Niko1221 开源推出 Strata 引擎,可以在 12GB 及以上显存的消费级显卡上,运行量化的 Qwen3.8-Flash-Next 模型(1250 亿参数)。 IT之家注:Qwen3.8-Flash-Next 模型是阿里巴巴 Qwen 团队于 2026 年 8 月推出的多模态混合专家(MoE)模型的压缩版本,配有 125B 参数,另含 51B 参数的 n-gram 嵌入表,原生支持 262K token 上下文长度。 Strata 为了降低显存占用,主要采用两项关键技术:其一是将 MoE(混合专家)模型整体载入 RAM,仅将高频使用的专家模型载入 VRAM。其二使用轻量模型进行投机解码,预测下一 Token 以加速推理过程。 量化版本(Size)写答案速度(Writes answers)阅读提示速度(Reads your prompt)Q2_094 个词元 / 秒2,650 个词元 / 秒IQ2_XS79 个词元 / 秒2,090 个词元 / 秒IQ3_XXS62 个词元 / 秒1,750 个词元 / 秒IQ3_S53 个词元 / 秒1,620 个词元 / 秒Coder55 个词元 / 秒2,180 个词元 / 秒

相关标签

免责声明:本文内容来自公开报道与编辑整理,仅供参考。转载请注明出处;版权争议请联系本站核实处理。页面地址:http://www.gxycedu.cn/te_inform?id=objphj-drv35tp%3D2p%3D5p%3D5p%3D3

评论区

热门讨论 · 占位展示
说说你的看法…
发表评论
  • 用户
    读者10号
    一图读懂信息密度高但层次清楚,来源小字标注让人安心。日用品、防护、营养这类贴近生活的主题特别实用。和我自己一起看时,讨论会自然落到证据而不是站队。标签过滤能躲开暂时太难的,先专注自己能消化的层级。长期跟着看比较踏实,不会有被内容农场随便糊弄的不适感。
    20261007 · 来自移动端
  • 用户
    曾宏
    把某个热点主题按时间线读完,轮廓清楚了,不再只会复读热词。很多生活现象背后的原理讲得清楚,不装腔作势,也不故意卖萌到尴尬。转给带娃的父母时也不担心语气太冲或太玄乎。科学叙述尽量接得住更多人的生活,而不是只写给同温层。写给后来者:别指望一夜变专家,但真的能变清醒。
    2026-10-07 07:07:16
  • 用户
    热心网友
    《蜜汁炖樱桃》txt百度网盘漫画,内容值得关注,期待后续更新。
    20261007

期待你的精彩发言。