标签：内存缓冲区

[AI][vLLM] max_num_seqs 参数详解

max_num_seqs 参数详解 一、参数定义 max_num_seqs 是 vLLM 和 vLLM-Ascend 中一个关键的调度配置参数，用于限制 单个调度步骤中同时处理的最大序列（请求）数量 。 默认值 默认值 : 128 位...