背景:A6-BE-01..05 与 A6-INF-01,打通「提交 → 队列 → SSE 进度 → 完成/失败 → 取消 / 仅重试失败项」闭环,为 B3 / M1 的真实任务提供统一协议。 改动: - API media 模块:POST/GET /media-tasks、详情、SSE(Last-Event-ID 续推 + 15s 心跳 + 800ms 落库轮询)、取消(只影响未开始项)、仅重试失败项;Idempotency-Key 24h(异步提交 202;同 key 同 body 返回同一任务且不重复审计,不同 body 40902);范围外统一 404; - 队列骨架:BullMQ 5 九队列(5 组独立启停)、Outbox dispatcher(Redis 锁 + FOR UPDATE SKIP LOCKED + jobId 幂等 + 指数退避/死信)、worker 按 QUEUE 启停、demo 演练处理器(事务 + 行锁 + 取消/重试/幂等)、优雅退出与心跳; - 监控:GET /api/v1/health/queues、GET /api/v1/metrics(Prometheus 0.0.4)、infra/monitoring 告警规则与接入说明; - 通用:AuditInterceptor 支持幂等重放 skipAudit(默认行为不变)、AppModule 接线、.env.example 的 QUEUE 语义、bullmq 5.81.5 / worker @prisma/client / worker 覆盖率依赖。 影响面:OpenAPI 新增 6 个端点(openapi:diff 无破坏性变更);API 进程新增 outbox dispatcher 与 metrics/health 路由;worker 新增 BullMQ 消费;未改旧审计导出链路与既有接口。 回滚:回滚提交并停止 worker 新队列消费;task/outbox 新表数据不影响旧功能,可按需保留。 验证:api 单测 257、集成 92(连跑 2 次)、worker 27、shared 197;typecheck / lint / format:check / build / openapi:diff 全绿;本地真实 worker 启用 9 队列心跳,/health/queues、/metrics 实测,/media-tasks 未登录 401。
This commit is contained in:
1 parent
4a29cf815e
commit
633765f10f
70 files changed
+8674
-45
No files matched your search
+15
-3
@@ -40,9 +40,21 @@ HOST=0.0.0.0
|
||||
WEB_ORIGIN=http://127.0.0.1:5173,http://localhost:5173
|
||||
MAX_UPLOAD_MB=500
|
||||
|
||||
# ---------- Worker ----------
|
||||
QUEUE=default
|
||||
WORKER_CONCURRENCY=2
|
||||
# ---------- Worker / 队列(BullMQ,技术架构 §2.4 / §3.7) ----------
|
||||
# 队列分 5 组共 9 条(script:generate / image:matting / image:render / video:keyframe / video:shot /
|
||||
# video:compose / delivery:zip / export:package / media:verify),名称与并发 / 重试 / 退避参数
|
||||
# 的唯一事实源是 packages/shared 的 TASK_QUEUES,这里只决定 worker 启动哪些队列:
|
||||
# all 启动全部 9 条(本地开发默认)
|
||||
# 分组名,逗号分隔 script / image / video / export / verify(如 QUEUE=verify)
|
||||
# 具体队列名 如 QUEUE=media:verify 或 QUEUE=image:render,media:verify
|
||||
QUEUE=all
|
||||
# 可选:统一覆盖全部队列的消费并发;留空 / 注释时按 TASK_QUEUES 的每队列定义
|
||||
# (如 media:verify=4、script:generate=8、video:shot=12)。
|
||||
# WORKER_CONCURRENCY=2
|
||||
# 可选:worker 标识,默认 <hostname>-<pid>;写入心跳 lingxi:worker:heartbeat:<queue>(TTL 30s)。
|
||||
# WORKER_ID=dev-worker-01
|
||||
# API 进程内 Outbox dispatcher 的调度间隔(毫秒);未设置默认 1000。
|
||||
# OUTBOX_DISPATCH_INTERVAL_MS=1000
|
||||
|
||||
# ---------- 前端(只能暴露 VITE_PUBLIC_* 前缀,ENV-07) ----------
|
||||
VITE_PUBLIC_API_BASE_URL=http://127.0.0.1:3000/api/v1
|
||||
|
||||
Reference in new issue
Block a user