TensorRT-LLM
Llama-3.1-8B性能翻倍!FP8量化模型用户承载量达512并发

Llama-3.1-8B性能翻倍!FP8量化模型用户承载量达512并发

2025-07-08