TG咨询AI模型推理算力部署最容易出现的误区，是看到模型能够在一张显卡上加载，就认为它可以直接支撑生产流量。实际上，模型权重只占显存的一部分，运行时还需要为KV Cache、激活值、框架工作区和批处理预留空间。并发量一旦上升，显存和响应时间可能同时成为瓶颈。
因此，部署前应先回答三个问题：单个请求需要多少显存，峰值同时处理多少请求，以及首Token和完整响应分别允许等待多久。只有把这三项放入同一张容量表，AI模型推理算力部署才有可执行依据。
先拆分显存需求，而不是只看参数量
权重显存是起点
模型权重显存通常可以按“参数量×每参数字节数”粗略估算。以8B规模模型为例，FP16权重理论上约需16GB显存；使用8比特量化时，权重部分约为8GB，使用4比特量化时则约为4GB。但量化格式、缩放参数和加载方式会带来额外开销，不能把理论值当作最终占用。
显卡还要保留运行时空间。通常应预留约10%至20%的显存给框架工作区、临时张量和显存碎片。24GB显存的NVIDIA A10或L4，适合经过量化、上下文长度受控的中小规模模型；40GB或80GB级别的A100、H100，更适合较大模型、较长上下文或更高并发场景。具体结果仍需以目标框架和实际输入验证。
KV Cache决定并发上限
自回归模型在生成过程中会保存历史Token对应的键和值，这部分就是KV Cache。输入越长、输出越长、并发越高，KV Cache增长越明显。即使模型权重能够装入显卡，长上下文请求也可能因为KV Cache耗尽显存而失败。
核算时至少记录四个变量：平均输入Token数、最大输入Token数、平均输出Token数和峰值并发请求数。客服问答可能是短输入、高并发；代码分析则可能是长输入、低并发，两者不能共用一套显存假设。
用峰值并发而非平均并发做容量规划
AI模型推理算力部署应以业务峰值为基准。可以先从访问日志或压测结果中取得每分钟请求数，再换算为请求到达率。例如每分钟120个请求，平均服务时间为2秒，理论平均并发约为4个，但如果请求集中到数秒内到达，瞬时并发可能明显高于平均值。
建议把并发拆成“稳定并发”和“突发并发”。稳定并发用于计算常态实例数量，突发并发用于评估排队时间和限流策略。若单卡在目标上下文长度下能够稳定处理4个并发请求，计划承载12个稳定并发，至少应配置3张同类显卡；若还要求应对短时流量峰值，则应额外保留冗余或设置队列上限。
一套可执行的核算步骤
- 固定模型条件：记录模型参数规模、精度、量化方式、最大上下文长度和最大输出长度，不要只写“部署某个大模型”。
- 估算单请求占用：分别测量模型加载后的基础显存、单请求Prefill阶段显存和持续生成阶段的KV Cache增长。
- 设定业务指标：明确首Token延迟、每秒生成Token数、完整响应时间和允许排队时间。流式对话通常更关注首Token，批量摘要则更关注总吞吐。
- 压测不同并发：按1、2、4、8等梯度增加并发，观察显存峰值、吞吐、错误率和P95延迟，而不是只记录平均延迟。
- 加入安全余量：显存建议至少保留约10%至15%的余量；当输入长度波动较大、请求来源复杂或模型会动态加载组件时，应采用更高余量。
- 核对故障策略：明确显存不足时是拒绝请求、排队、降级到小模型，还是切换到其他实例，避免上线后由系统随机崩溃。
显卡与部署方式如何选择
| 方案 | 适用条件 | 主要优点 | 主要限制 |
|---|---|---|---|
| 单卡部署 | 模型较小、并发稳定、上下文长度有限 | 架构简单，通信开销低，成本易控制 | 单卡故障会直接影响服务容量 |
| 多卡分片 | 单卡无法容纳模型或长上下文显存不足 | 可承载更大模型和更高显存需求 | 卡间通信会增加延迟，对硬件拓扑更敏感 |
| 多实例副本 | 模型可装入单卡，主要目标是提升并发 | 扩容和故障隔离较直观 | 每个实例都要重复占用模型权重显存 |
如果模型能稳定装入单卡，且请求之间相互独立，多实例副本通常比强行切分更容易运维。若模型权重或KV Cache已经超过单卡容量，才应考虑多卡分片。量化可以降低显存压力，但可能带来输出质量变化，必须用真实业务样本进行评估。
上线前必须验证的指标
压测环境应尽量接近生产环境，至少固定模型版本、精度、上下文长度、采样参数和请求分布。测试时同时记录显存峰值、GPU利用率、首Token延迟、生成速度、P95或P99延迟、排队请求数和错误率。只看GPU利用率并不能证明容量充足：利用率很高但延迟稳定，可能是算力已充分利用；利用率不高却频繁显存不足，则问题在显存或请求长度。
最终容量应按“峰值并发×单请求资源×安全系数”计算，并在上线后持续复核。随着提示词变长、输出上限提高或模型版本更换，AI模型推理算力部署的结论都可能改变。把配置、压测数据和扩容触发条件记录下来，才能避免凭经验反复试错。
常见问题
模型参数量相同，显存需求一定相同吗？
不一定。精度、量化格式、上下文长度、KV Cache实现和并发都会改变实际显存占用。
能否按平均并发购买显卡？
不建议。平均并发适合观察日常负载，容量规划还应覆盖峰值并发、突发流量和必要的故障余量。
量化后是否可以直接扩大并发？
通常可以释放部分权重显存，但新增空间仍会受到KV Cache、上下文长度和框架开销影响，必须重新压测。
什么时候优先选择多实例而不是多卡分片？
当模型能完整装入单卡、请求延迟对通信敏感且主要目标是提高并发时，多实例通常更合适；单卡无法容纳模型时，再评估多卡分片。
归根结底，AI模型推理算力部署应从并发和显存出发，而不是从显卡型号出发。先测单请求，再算峰值并发，最后用压测结果校正容量，才能在性能、成本与稳定性之间做出可靠选择。
