7月底QWen3-Coder的小模型终于发布啦，这次带来的是30b-a3b的MoE模型。
- 在代理编程、代理浏览器使用和其他基础编程任务方面，性能优于其他开源模型。
- 具备长上下文能力，原生支持256K个标记，使用Yarn可扩展至1M个标记，优化用于仓库级理解。
- 支持代理编程，适用于大多数平台，如Qwen Code、CLINE，采用专门设计的函数调用格式。
Qwen3-Coder-30B-A3B-Instruct 有以下特性
- Type: Causal Language Models
- Training Stage: Pretraining & Post-training
- Number of Parameters: 30.5B in total and 3.3B activated
- Number of Layers: 48
- Number of Attention Heads (GQA): 32 for Q and 4 for KV
- Number of Experts: 128
- Number of Activated Experts: 8
- Context Length: 262,144 natively.
本次测试仍然是MI50-32G，ollama_0.10.1, ROCm_6.3.4
生成速度达到35 t/s
|
1 2 3 4 5 6 7 8 |
total duration: 1m28.533944405s load duration: 94.260817ms prompt eval count: 20 token(s) prompt eval duration: 827.002399ms prompt eval rate: 24.18 tokens/s eval count: 3084 token(s) eval duration: 1m27.611224022s eval rate: 35.20 tokens/s |
原创文章，转载请注明： 转载自贝壳博客