量化后的本地模型文件能够装入 GPU 显存。容量规划还必须考虑什么？

量化后的本地模型文件能够装入 GPU 显存。容量规划还必须考虑什么？

1. KV 缓存、运行时缓冲区、上下文长度、并发请求及运行器特定开销
2. 无需考虑其他因素；模型文件大小就是运行时内存的精确上限
3. 只需考虑网络带宽，因为量化会消除激活值与缓存内存