DeepSeek本地化部署笔记

1. 下载并安装 ollama

   wget -c https://github.com/ollama/ollama/releases/download/v0.5.7/ollama-linux-amd64.tgz
   

2. 直接解压安装

   sudo tar -C /usr -xzf ollama-linux-amd64.tgz
   

运行 deepseek 模型 | deepseek-r1

ollama run deepseek-r1:32b

1. huggingface-cli 配置, 配置国内源 hf-mirror

   pip install -U huggingface_hub
   # huggingface mirror
   export HF_ENDPOINT=https://hf-mirror.com
   

2. hf_transfer 加速 huggingface 文件下载

   pip install -U hf_transfer
   export HF_HUB_ENABLE_HF_TRANSFER=1
   

3. 下载 DeepSeek-R1 模型

   huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1 --local-dir DeepSeek-R1
   huggingface-cli download deepseek-ai/DeepSeek-R1 --local-dir DeepSeek-R1
   

1. DeepSeek 原始代码

   git clone https://github.com/deepseek-ai/DeepSeek-V3.git
   git clone https://github.com/deepseek-ai/DeepSeek-R1.git
   

2. vllm 支持 hf 模型直接部署

   git clone https://github.com/vllm-project/vllm.git
   

3. open-webui | doc

   git clone https://github.com/open-webui/open-webui.git