Ollama 运行 DeepSeek-R1-Distill 系列模型

huggingface里的DeepSeek-R1-Distill 系列模型量化为GGUF格式

Qwen 系列

ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF:Q4_K_M
ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF:Q4_K_M
ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF:Q4_K_M
ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF:Q8_0

Llama 系列

ollama run hf.co/unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF:Q3_K_L
ollama run hf.co/unsloth/DeepSeek-R1-Distill-Llama-8B-GGUF:Q4_K_M