https://zqq.name/docs/llm/Recent content in LLM on ZQQ's docsHugo -- gohugo.ioen-ushttps://zqq.name/docs/llm/perf/Mon, 01 Jan 0001 00:00:00 +0000https://zqq.name/docs/llm/perf/分析evalscope中有关perf的代码，梳理清楚 TTFT/ TPOT 等性能指标的定义和计算标准 TTFT # 定义：TTFT(time to first token)，从用户输入提示词（Prompt）到模型生成第一个输出 Token 的时间，仅统计流式响应。 代码实现：通过异步读取流式 HTTP 响应，在收到首个有效响应 chunk 时用客户端计时器计算 当前时间 - 请求起始时间。 # 单请求TTFT的定义: # `evalscope/evalscope/perf/utils/benchmark_util.py` 中的 `first_chunk_latency` # 平均TTFT= 所有**成功**请求的 `first_chunk_latency` 之和 / 成功请求数量： self.total_first_chunk_latency += data.first_chunk_latency avg_first_chunk_latency = _safe_div(self.total_first_chunk_latency, n) 只要首个 SSE JSON 中存在非空 choices，即使内容只是如下也会被记录为 TTFT： { "choices": [ { "delta": { "role": "assistant" } } ] } 相关代码： if choices := data.get('choices'): if data.get('object') == 'text_completion': content = choices[0].get('text') or '' else: delta = choices[0].