秒懂云截至目前（2024年6月），DeepSeek 并未公开发布名为“DeepSeek 70B INT8”的官方模型版本，因此“DeepSeek 70B INT8”可能是一个误解或混淆了其他大模型（如 LLaMA-3-70B 或 Qwen-72B）的信息。
不过，我们可以基于类似规模的大语言模型（如 70B 参数级别）在 INT8 量化下的显存需求，进行合理估算：
🔹 70B 参数模型在 INT8 量化下的显存需求估算：
- 每个参数在 INT8 量化下占用 1 字节。
- 70B 参数 ≈ 70 × 10^9 参数。
- 仅模型权重：70B × 1 byte = 70 GB 显存。
- 加上推理过程中的激活值（activations）、KV Cache（用于生成）、临时缓冲区等，通常需要额外 10–20 GB 显存。
✅ 因此，运行一个 70B 级别模型在 INT8 量化下，最低显存需求约为 80 GB。
这意味着：
- 单张显卡：需要使用如 NVIDIA H100（80GB） 或 A100 80GB。
- 多卡部署：可通过张量并行（Tensor Parallelism）拆分到多张显卡，例如 2×A100 40GB 或 4×RTX 3090（24GB）通过量化和卸载技术运行，但性能和速度会受影响。
⚠️ 注意：
- INT8 推理需要硬件支持（如 NVIDIA Ampere 架构及以上）。
- 实际部署通常使用更高效的量化方式，如 GPTQ（INT4）、AWQ 或 GGUF（用于 CPU/GPU 混合），可大幅降低显存需求（如 40–50GB）。
✅ 总结：
| 模型规模 | 量化方式 | 最低显存需求 | 推荐显卡 |
|---|---|---|---|
| ~70B 参数 | INT8 | 约 80 GB | H100 80GB / A100 80GB |
📌 如果你指的是某个特定的 DeepSeek 模型（如 DeepSeek LLM 67B），请提供更准确的名称，我可以给出更精确的分析。
是否想了解如何在消费级显卡（如 3090/4090）上运行 70B 模型？我可以提供量化和部署建议。