TensorRT-LLM NVIDIA推出的LLM推理优化库TensorRT-LLM是NVIDIA专为大语言模型推理优化的库，基于TensorRT推理优化器构建。通过模型量化、内核融合、内存优化等技术显著提升推理性能，支持FP16、INT8、INT4等多种精度，可实现数倍的速度提升和显存节省。