DeepSeek-R1 大模型憑借其強(qiáng)大的推理與深度思考能力，在數(shù)學(xué)計(jì)算、編程及自然語言推理等任務(wù)上表現(xiàn)卓越。然而，在線服務(wù)存在不穩(wěn)定性，同時(shí)數(shù)據(jù)隱私問題也是許多個(gè)人和企業(yè)關(guān)注的焦點(diǎn)。因此，選擇本地部署 DeepSeek-R1 開源模型不僅可以提高穩(wěn)定性，還能保障數(shù)據(jù)安全。

1. 了解 DeepSeek-R1 模型

DeepSeek-R1 模型的最大參數(shù)規(guī)模為 671B（6710 億參數(shù)），同時(shí)官方提供 1.5B ~ 70B 版本的蒸餾模型，用戶可根據(jù) 顯存 和 計(jì)算資源 選擇合適的版本：

• 1.5B - 32B 版本：可在高端個(gè)人電腦或單張 GPU 運(yùn)行。
• 70B 及以上版本：建議至少 2 張 24GB 顯存的 GPU（如 3090/4090）。

蒸餾模型介紹：
DeepSeek 提供的 1.5B ~ 70B 小參數(shù)模型是通過 知識蒸餾 生成的，即使用 DeepSeek-R1 大模型 訓(xùn)練較小參數(shù)的模型，使其在大幅降低計(jì)算需求的同時(shí)，仍能保留部分推理能力。

量化與存儲需求：

• DeepSeek-R1 671B 原始 FP8 精度模型：約 700GB
• Ollama 提供的 INT4 量化版本：約 404GB

本教程采用 Ollama 作為模型管理框架，該工具可 下載、運(yùn)行、管理 大模型，是目前最便捷的本地推理工具。

2. 部署前準(zhǔn)備

2.1 硬件需求

本次部署以 8 塊 A800 GPU 為例，配置如下：

• GPU：8 × A800（至少 6 卡）
• 顯存：8 × 80GB（共 640GB）
• CPU：112 核 vCPU
• 內(nèi)存：224GB

成本預(yù)估：

• A100/A800 單張顯卡 價(jià)格約 10 萬元
• 租賃價(jià)格 約 5 元/小時(shí)/卡
• 高端配置可選 H100/H800、H20 等顯卡

2.2 軟件環(huán)境

• 操作系統(tǒng)：Ubuntu 20.04
• PyTorch：2.6.0
• CUDA：12.2
• Ollama：最新版本

檢查顯卡狀態(tài)（Linux 終端命令）：

nvidia-smi

3. 安裝 Ollama

Ollama 支持 Windows、MacOS、Linux，安裝步驟如下：

3.1 Linux 下載安裝

curl -fsSL https://ollama.com/install.sh | sh

安裝成功后，運(yùn)行：

ollama -v

如能正確顯示版本號，則說明安裝成功。

4. 運(yùn)行 Ollama 并配置環(huán)境

4.1 設(shè)置環(huán)境變量

在運(yùn)行 DeepSeek-R1 671B 前，需要調(diào)整 Ollama 運(yùn)行參數(shù) 以優(yōu)化性能：

export OLLAMA_MODELS=/datadisk      # 更改模型存儲路徑（默認(rèn) ~/.ollama/models）
export OLLAMA_DEBUG=1               # 開啟 debug 日志
export OLLAMA_LOAD_TIMEOUT=120m     # 設(shè)置模型加載超時(shí)時(shí)間（默認(rèn) 5 分鐘）
export OLLAMA_KEEP_ALIVE=-1         # 讓模型常駐顯存，防止自動卸載
export OLLAMA_SCHED_SPREAD=1        # 多 GPU 均衡調(diào)度
export OLLAMA_NUM_PARALLEL=8        # 允許并發(fā)請求（根據(jù)顯存調(diào)整）

注意事項(xiàng)：

• 并發(fā)配置 OLLAMA_NUM_PARALLEL 需根據(jù)顯存情況合理調(diào)整，每增加 1 并發(fā)請求，額外占用 10~15GB 顯存。
• OLLAMA_KEEP_ALIVE=-1 可防止模型 長時(shí)間無訪問 后被卸載。

4.2 啟動 Ollama 服務(wù)

nohup ollama serve &   # 在后臺運(yùn)行 Ollama

• 查看日志：

  tail -f nohup.out
  

• 查看進(jìn)程：

  ps -ef | grep ollama
  

• 關(guān)閉 Ollama：

  kill -9 <進(jìn)程 ID>

5. 下載并運(yùn)行 DeepSeek-R1-671B

5.1 下載 671B 量化模型

ollama pull deepseek-r1:671b

注意：

• 模型大�。�404GB
• 下載速度 取決于 服務(wù)器帶寬 和 Ollama 倉庫限速
• 斷點(diǎn)續(xù)傳：若速度大幅下降，可 Ctrl+C 終止 并重新運(yùn)行下載命令，下載會從當(dāng)前進(jìn)度繼續(xù)。

5.2 運(yùn)行模型

nohup ollama run deepseek-r1:671b > run.out 2>&1 < /dev/null &

• 查看模型加載進(jìn)度：

  tail -f run.out
  

• GPU 負(fù)載監(jiān)控：

  nvidia-smi
  

加載時(shí)間：

• 671B 大模型 加載 顯存 需 1 小時(shí)以上
• 加載完成后 終端輸出：

  model load progress 1.00
  llama runner started in 3770.15 seconds

6. 使用 DeepSeek-R1-671B

6.1 命令行交互

ollama run deepseek-r1:671b

輸入問題，即可與模型對話。

6.2 API 調(diào)用

Ollama 兼容 OpenAI API，本地服務(wù)器監(jiān)聽 0.0.0.0:11434，可用 curl 訪問：

curl --request POST   --url http://127.0.0.1:11434/v1/chat/completions   --header "Content-Type: application/json;charset=utf-8" \
  --data "{
  "model": "deepseek-r1:671b",
  "messages": [
    {
      "role": "user",
      "content": "你是什么模型"
    }
  ]
}"

7. 性能壓力測試

DeepSeek-R1-671B 的 推理速度 取決于 token 長度 與 并發(fā)量。評估方式：

• 關(guān)鍵指標(biāo)：每秒生成的 tokens 數(shù)量 (tokens/s/req)
• 方法：編寫 Python 腳本模擬并發(fā)請求

7.1 運(yùn)行壓測

python3 model_stress_test.py

部分測試結(jié)果（tokens/s/req）：

優(yōu)化方向：

• 提高 GPU 利用率（當(dāng)前 <15%）
• 嘗試更高效的推理框架，如 vLLM

總結(jié)

本教程詳細(xì)介紹了 DeepSeek-R1-671B 的本地部署，包括 環(huán)境搭建、下載運(yùn)行、API 調(diào)用及性能優(yōu)化。如果你希望在本地體驗(yàn) 大模型推理，按本教程操作即可快速上手！DeepSeek大模型一體機(jī)部署方案找天下數(shù)據(jù)專注于IDC行業(yè)20多年，經(jīng)驗(yàn)豐富，咨詢電話4--0-0-6-3--8-8-8-0-8 ！

本文鏈接：http://m.51huadong.com/cloundnews/11013607.html