一周热点：Compact Reasoning 精简推理

一周热点：Compact Reasoning 精简推理

1 QwQ-32B模型

架构

QwQ-32B基于Transformer架构，拥有325亿参数。Transformer架构由Vaswani等人在2017年的论文《Attention is All You Need》中提出，它使用自注意力机制来捕捉输入序列中的依赖关系，允许模型关注输入序列的不同部分，从而更好地处理长距离依赖问题。多头注意力机制增加了模型的表达能力。此外，Transformer架构还包括位置编码、嵌入层、解码器等组成部分。

性能

QwQ-32B在多个基准测试中表现出色：

• AIME24：准确率为79.5%，远高于OpenAI o1-mini的63.6%，但略低于DeepSeek-R1的79.8%。

• LiveCodeBench：准确率为63.4%，优于o1-mini的53.8%，但落后于DeepSeek-R1的65.9%。

• LiveBench：达到73.1%，高于o1-mini的59.1%和DeepSeek-R1的71.6%。

• IFEval：准确率为83.9%，优于DeepSeek-R1的83.8%，但落后于o1-mini的84.8%。

• <