TokenSeq Gateway · 引擎

TokenSeq 背后的网关——部署在你的域内。

TokenSeq Cloud 运行所依赖的一切,都是你可以自行部署的产品:边缘网络、路由、多模态服务、计费账本与控制面。你的渠道、你的账号、你的密钥——没有任何东西离开你的环境。

五个层次,各司其职

接入(SDK、智能体与 CLI 工具、下游中转、自研应用)→ 边缘(TLS、声明式路由、会话亲和、健康探测)→ 数据面(文本、图像、视频服务,含计费与审计)→ 适配(每种上游协议一个纯函数适配器)→ 供给(一个渠道 = 一个上游账号)。控制面——管理端、控制台、单一配置存储——与之并列。

01 · 接入 02 · 边缘 03 · 数据面 04 · 适配 05 · 供给 官方 SDK仅需更改 base_url 智能体与 CLI 工具编程助手 自研应用企业应用 下游中转合作伙伴 · 白标 自建边缘网络 三个区域的节点承接客户流量。每个节点拉取、渲染、 校验,然后切换——错误的配置绝不会让节点宕机。 TLS · 自动证书 声明式路由 会话亲和 健康探测 连接复用 亚洲 欧洲 美国 文本服务 调度 · 会话固定 计量 · 用量账本 流式透传,不缓冲 图像服务 同步或异步编排 自有存储 · 失败即退款 报价 → 扣费 → 上游 视频服务 基于任务 · 提交并轮询 自有媒体存储 · 规格闸门 绝不丢任务 协议适配 每种上游协议一个纯函数适配器——组合而非继承;各自可独立测试。 统一入参 · 逐字段对齐出参 · 不支持的参数如实说明,绝不伪造 上游渠道池 一个渠道就是一个上游账号:协议 + 地址 + 一把密钥。准入是双开关 (渠道与模型);流量会绕开任何关闭的项。故障时降级,绝不悄悄停用。 upstream-01 upstream-02 upstream-03 已降级 · · · 文本 · 图像 · 视频模型 控制面 单一配置存储 路由 · 证书 · 渠道 · 模型 · 价格 · 密钥 · 分组 · 账本 唯一权威——数据面实时读取,无需重启 管理控制台 渠道 · 生命周期 模型 · 定价档位 评测中心 监控 · 自动暂停 计费 · 对账 站点 · 品牌 · 域名 客户控制台 仪表盘 密钥 · 分组配额 用量 · 账单 余额 · 发票 接入文档 按品牌白标 模型验证智能体 盲测能力 · 上游溯源 · 指纹。 接入时及按计划运行;未通过的渠道退出服务。 未测试 ≠ 测试通过 每个管理操作同时也是一个 MCP 工具 一个中央令牌;智能体与运维人员走同一条路径。 自愈 守护进程会重启卡住的进程,与数据库解耦—— 数据库故障不会影响存活。 实时配置 云端 我们的节点、共享边缘与上游池。订阅制。无需运维。 多区域 · 按 Token 付费 自托管 同一套软件部署在你的环境中。你的渠道、账号、数据与密钥永远不会离开。 数据面已部署 · 控制面按项目实现 · 托管运维或交接
TokenSeq Gateway · 架构 · 重绘

自建边缘网络

亚洲、欧洲与美国的边缘节点承接客户流量;配置存储是唯一权威。每个节点定期拉取、渲染、校验,然后切换——错误的配置绝不会让节点宕机。证书自动签发与续期。节点转发独立于配置存储:即使它变慢或不可用,流量依然畅通。

缓存友好的会话亲和

上游会缓存对话前缀。路由一旦漂移,缓存就白白浪费。网关把一段对话在其整个生命周期内固定在同一条链路上——缓存命中与负载均衡因此兼得,首字延迟与成本都得到改善。

自适应路由

由一条简短的关卡链决定每个请求:渠道与模型两级的启用开关、规格精确匹配,以及避开近期故障的渠道。每一跳都记录状态、原因与时间。故障渠道只降级,不停用:慢一点可以接受;无路可走不行。

应对突发流量

每一层各自消化自己的那一份:边缘保持热连接并快速失败;进程层随实际获得的资源伸缩;租户层在读取任何请求体之前就执行并发与速率限制。流式响应不经缓冲直接透传。

多模态服务

  • 图像按顺序报价 → 扣费 → 调用上游;一个订单,一条账目。上游故障会被统一翻译成稳定的错误码,由它决定退款、重试以及客户看到什么。生成的图像由我们自有存储以稳定地址提供。
  • 视频我们承诺什么、如何判定、渠道当前接受什么,分别保存为三份独立规格——因此对外公布的规格绝不会悄悄宽于现实。任务在调用任何上游之前即已创建并计费;每一个后台失败都会以稳定的原因码退款。

控制面

按模态分别管理(渠道、定价、统计、档位、测试),结构对称;渠道生命周期涵盖接入、盲评、上架、定时巡检与自动暂停 / 恢复;每个管理操作同时也是一个 MCP 工具,智能体与运维人员走同一条路径。

部署

云端

我们的节点、共享边缘与上游池,订阅制。

自托管

数据面部署在你的环境中,控制面按项目实现;可选托管运维,或培训后移交。

两者都支持页面与功能的定制。