分层执行模型
Layer 0start串行
Layer 1llm·allm·bhttp·c并行 · goroutine + errgroup
Layer 2end等待上一层全部完成
持久化任务队列
运行任务进入基于 PostgreSQL 的 River 队列,由独立 Worker 进程消费。任务与业务数据同库、同事务语义, 不需要额外维护一套消息中间件,长时间运行也不怕进程重启。
不重复输出的重试
LLM 调用失败按 2attempt 秒指数退避重试——但仅限尚未产生可见输出(pre-delta)时。 一旦用户已经看到流式内容,错误不再重试,避免同一段话在界面里出现两遍。
令牌桶限流
对模型提供商的调用经过令牌桶限流:固定速率补充、容量上限控制突发。超限请求排队等待而不是直接失败, 把提供商的 429 挡在系统内部。
SSE 实时事件流
每次运行发布结构化事件:节点开始/完成、流式 delta、token 与成本。画布运行面板和你自己的客户端 订阅同一条 SSE 流,事件 Schema 有版本化契约。
继续了解产品能力