Ollama 运行 DeepSeek-R1-Distill 系列模型
AI AI 11

huggingface里的DeepSeek-R1-Distill 系列模型量化为GGUF格式

Qwen 系列

ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF:Q4_K_M
ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF:Q4_K_M
ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF:Q4_K_M
ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF:Q8_0

Llama 系列

ollama run hf.co/unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF:Q3_K_L
ollama run hf.co/unsloth/DeepSeek-R1-Distill-Llama-8B-GGUF:Q4_K_M

Ollama 运行 DeepSeek-R1-Distill 系列模型
https://blog.xiqi.site/archives/ollama-yun-xing-deepseek-r1-distill-xi-lie-mo-xing
作者
管理员
发布于
更新于
许可
AI AI