Simple Study of API Server, Engine, Scheduler, Worker Call Patterns
Scheduler 暴露的 API
add_request- 添加新请求schedule- 调度请求update_from_output- 处理 Worker 输出
Engine 调用流程
主循环是单线程的，循环处理消息队列 (MQ)，分发消息到各个组件。
Worker
execute_model(scheduler_output) -> ModelRunnerOutput
`
API Server
| API | 请求类型 | 参数 | 返回 |
|---|---|---|---|
| 添加请求 | ADD |
EngineCoreRequest |
EngineCoreOutputs (流式) |
| 中止请求 | ABORT |
set[str] (请求 IDs) |
EngineCoreOutputs (finished_requests) |
| 工具调用 | UTILITY |
(method_name, args) |
UtilityOutput |
| DP Wave | START_DP_WAVE |
wave 数据 | - |