Q2_K_XL 好还是 Q4好呢
#34
by
jializou
- opened
我现在在用ktransformers本地部署 deepseek R1; unsloth提供的这么多量化版本，哪个最好呢，官方报告上 只有<2.5 bit的推荐效果
但提供的不是还有Q4，Q6，Q8么？或者有没有推荐的自己可以测试模型效果的方法
Q越大，PPL越低，即 R1 越聪明，吃资源也更多，需要权衡具体需求。
我现在在用ktransformers本地部署 deepseek R1; unsloth提供的这么多量化版本，哪个最好呢，官方报告上 只有<2.5 bit的推荐效果 但提供的不是还有Q4，Q6，Q8么？或者有没有推荐的自己可以测试模型效果的方法
Q越大，PPL越低，即 R1 越聪明，吃资源也更多，需要权衡具体需求。