#llama-8b

[takihosting-blog]

RTX3090/RTX4090 部署 Deepseek-R1 蒸餾模型

本文使用 RTX3090 或 RTX4090 在本地部署 Deepseek-R1，完整支援知識蒸餾模型 qwen-7B 與 llama-8B，具備高效能 INT4/FP16 推理能力與 LoRA 微調支持，適合中文大型語言模型本地訓練與離線開發環境，降低延遲與成本。

Deepseek-R1 - RTX3090/RTX4090 部署 Deepseek-R1 蒸餾模型 - TAKI官方部落

Deepseek-R1 - 本文 TAKI Cloud 使用 RTX3090 或 RTX4090 GPU伺服器 本地部署 Deepseek-R1，完整支援知識蒸餾模型 qwen-7B 與 llama-8B，具備高效能 INT4/FP16 推理能力與 LoRA 微調支持，適合中文大