跳转到正文
ThinkWatch
开始输入以搜索文档。
v0.4.0 — 公开预览

面向所有 AI 流量
安全网关

ThinkWatch 是企业内所有模型请求与 MCP 工具调用的唯一控制平面。每一次访问都被认证、授权、限流、记录和计费。

30 秒上手 查看 GitHub →
实时 1,284 req/s 42,730 tokens/min
2 MB
Distroless 镜像
3+1
API 格式
Per-user
MCP OAuth
Rust
单一二进制

原生兼容

  • Claude Code
  • Cursor
  • Continue
  • Cline
  • OpenAI SDK
  • Anthropic SDK
  • LangChain
  • LlamaIndex
  • Claude Code
  • Cursor
  • Continue
  • Cline
  • OpenAI SDK
  • Anthropic SDK
  • LangChain
  • LlamaIndex
当下的困境

AI 无处不在,治理却无人问津.

随着 AI Agent 在工程团队中爆发,组织面临日益严峻的治理挑战,每个季度都更糟糕。

01

密钥四散

硬编码在 .env、在 Slack 里互传、从未轮换。一把泄露的密钥能在一夜之间烧光当月预算。

02

毫无可见性

谁用了哪个模型?消耗多少 token?归到哪个项目?账单到了才知道。

03

无访问控制

每位工程师都能直连任意模型和任意 MCP 工具,根本谈不上最小权限。

04

合规盲区

AI 辅助代码生成和数据访问没有任何审计轨迹,法务和安全团队连最基本的问题都答不上来。

05

成本爆雷

每月 AI 账单没人能解释、没人能归因。预算超支几周之后才被发现。

ThinkWatch 用一次部署解决所有这些问题。

工作原理

所有 AI 请求都流经同一道网关.

OpenAI 和 Anthropic SDK 的零侵入替代品。你的 Agent 完全不需要改代码,只要把 base URL 指向 ThinkWatch。

调用方
Claude Code
Cursor
Custom Agent
CI/CD Pipeline
网关 :3000
ThinkWatch
AI API + MCP 统一代理
/v1/chat /v1/messages /v1/responses /mcp
上游模型
OpenAI
Anthropic
Google Gemini
Azure / Bedrock
请求生命周期内部
功能特性

网关、MCP 代理、RBAC、分析 —— 全在一个二进制里.

ThinkWatch 是一个 Rust 二进制,依赖 PostgreSQL、Redis、ClickHouse。没有微服务大杂烩,没有粘合代码 —— 所有职责都在同一个控制平面里处理。

一个端口,所有模型,零侵入接入。

01

多格式代理

OpenAI Chat Completions、Anthropic Messages、OpenAI Responses 三种 API 在同一端口提供 —— Cursor、Continue、Cline、Claude Code 以及官方 SDK 都可零修改接入。

02

按模型路由 —— 自动或手动

每个已注册模型都有独立的路由配置:Auto 模式(latency-cost / balanced / latency-only)或 Manual 模式(拖拽式流量分配条)。健康感知的故障转移通过熔断器自动剔除不健康节点;决策日志为每个请求记录所选 Provider、原因以及任何回退方案。

03

多 Provider + 模型级开关

OpenAI、Anthropic、Google Gemini、Azure OpenAI、AWS Bedrock,或任意 OpenAI 兼容端点 —— 请求格式自动转换。可在不影响整个 Provider 的前提下暂停单个模型;每行 gateway_logs 都标记真实 upstream_model,事故复盘不留歧义。

04

虚拟 API 密钥

按团队、项目或开发者签发限定范围的 tw- 密钥,一键吊销,吊销的密钥归入独立的归档分页。轮换宽限期内拒绝再次轮换,避免应急轮换把流量逼入死胡同。明文仅展示一次;存储为 SHA-256 哈希。

05

限流与预算上限

基于 Redis 的滑动窗口 RPM/TPM 限制,可按密钥、用户或团队设置。Pre-call 预算检查在请求送达上游之前直接拒绝已超额的调用 —— 不再让 token 先被烧掉再被事后扣账发现。硬性预算上限 fail-closed;50 / 80 / 95 / 100% 触发消费预警。

06

实时成本追踪

按模型计价,含预算告警与团队归因。SSE 零开销转发,token 实时计数。

07

管理 API 与 OpenAPI 文档

通过程序化接口管理 API 密钥、用户和 Provider。网关附带完整 OpenAPI 规范,可将密钥生命周期集成到 CI 流水线、Terraform 或自有工具链,无需打开控制台。

MCP 应有的样子

为团队而生 —— 而不是为单个用户.

市面上大多数 MCP 网关都是为「单用户 + 单一共享服务账号」的场景设计的。ThinkWatch 从一开始就为组织而生:每位开发者以自己的身份连接上游、每一次工具调用都可追溯到具体的人、整套系统完全部署在你自己的网络内。

ThinkWatch MCP 网关 vs 同类方案
能力 ThinkWatch SaaS 网关 DIY mcp-proxy
按用户的上游 OAuth(无共享服务账号) 共享账号
Dynamic Client Registration 一键接入 部分支持
工具级 RBAC + 用户工具目录 受限
ClickHouse 全量审计(可查询、可转发) 仅托管版
响应缓存按 (user, account_label) 隔离 n/a
可自托管,单一 Rust 二进制(distroless) 仅 SaaS 因方案而异
开箱即用的中英双语界面 仅英文
BSL 1.1 —— 非生产与小规模生产免费 闭源 开源

SaaS 网关 = Composio、Smithery、Pulse MCP 等托管服务。DIY = mcp-proxy 或自研中转脚本。

这给你带来什么
01 ThinkWatch

每位开发者,在上游就是他自己

按用户的 OAuth 意味着 GitHub Issue 由 Alice 创建、Linear 工单分配给 Bob —— 而不是统一挂在某个面目模糊的 mcp-bot 服务账号下。审计轨迹端到端贯通:从 IDE,经 ThinkWatch,进入上游系统。

02 ThinkWatch

一次粘贴,告别十七个门户

Dynamic Client Registration 自动完成 OAuth 握手。粘贴服务器 URL,在授权页点击 Allow —— 连接完成。不需要注册应用、不需要在浏览器标签间反复复制 client_id/secret。

03 ThinkWatch

工具像 API 一样被治理

工具级 RBAC + 按用户的工具目录。每位用户只看到自己角色 + 上游账号实际可用的工具子集。Viewer 角色绝不会因为 MCP 工具而意外获得生产环境的写入权限。

04 ThinkWatch

全部运行在你的网络内

ThinkWatch 是一个可自托管的 Rust 二进制,背后是 Postgres + Redis + ClickHouse。没有 SaaS 锁定,没有 MCP 流量出本地边界,也没有「看过你 prompt 的供应商」每季度寄来的账单。

管理控制台

每一个 token、每一把密钥、每一次调用.

对组织内每一个 AI 请求的实时可观测性。下面这些面板是真正的 React 组件 —— 不是截图 —— 用模拟数据渲染,让你直观感受控制台。

总览 · 当月
Tokens used (MTD)
+12.4%
0
Cost (MTD)
+8.1%
$0.00
Active API keys
+3
0
Requests / min
live
0
统一日志检索
status:200 model:claude-*
live
user
status
  • bob@acme
    gemini-2.0-flash · 2253t
    200
  • carol@acme
    claude-sonnet-4-5 · 2641t
    200
  • dan@acme
    gpt-4o · 3029t
    200
  • eve@acme
    gemini-2.0-flash · 3417t
    200
  • alice@acme
    claude-sonnet-4-5 · 3805t
    200
  • bob@acme
    claude-opus-4-6 · 4193t
    200
  • ci-bot
    claude-haiku-4-5 · 4582t
    200
  • dan@acme
    gpt-4o-mini · 470t
    200
  • eve@acme
    claude-opus-4-6 · 858t
    200
  • alice@acme
    claude-haiku-4-5 · 1246t
    200
  • carol@acme
    gpt-4o-mini · 1634t
    200
  • ci-bot
    claude-opus-4-6 · 2022t
    200
  • dan@acme
    claude-haiku-4-5 · 2410t
    200
  • eve@acme
    gpt-4o-mini · 2798t
    200
上游健康
Provider health
monitoring
  • OpenAIus-eastHealthyCB:Closed
    412 ms99.8%
  • Anthropicus-westHealthyCB:Closed
    538 ms99.6%
  • Google Geminius-centralHealthyCB:Closed
    297 ms99.9%
  • Azure OpenAIeastus2DegradedCB:HalfOpen
    1240 ms96.2%
  • AWS Bedrockus-east-1HealthyCB:Closed
    624 ms99.4%
滑动窗口限流
Rate limit · sliding window
tw-prod-aH3k · 100 RPM
61 / 100
current bucket
Avg / min
63
Window
30s
Headroom
39
快速开始

一分钟内.

用 Docker Compose 单节点自托管,或用 Helm Chart 上生产 Kubernetes。无论哪种方式,4 条命令就能跑起来。

  1. 启动基础设施

    通过 Docker Compose 拉起 PostgreSQL、Redis、ClickHouse。

    $ make infra
  2. 启动网关

    两个端口同时启动:3000(网关)与 3001(控制台 API)。

    $ cp .env.example .env && make dev-backend
  3. 启动控制台 UI

    Vite 开发服务器跑在 :5173,支持热重载。

    $ cd web && pnpm install && pnpm dev
  4. 运行初始化向导

    创建超级管理员账号并添加第一个 Provider。

    $ open http://localhost:5173/setup
然后把客户端指向网关
curl https://gateway.your-org.com/v1/chat/completions \
  -H "Authorization: Bearer tw-prod-xxxxxxxxxxxxxxxxx" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o",
    "messages": [{"role": "user", "content": "Hello"}],
    "stream": true
  }'

无需修改任何代码 —— 只需替换 base URL 并使用虚拟 tw- 密钥。

授权

源码开放。对绝大多数团队免费.

ThinkWatch 采用 Business Source License 1.1。非生产环境永久免费;生产环境在每月慷慨阈值内同样免费 —— 超出才需商业授权。

非生产环境
免费 永久

开发、预发、评估、内部演示。

  • Token 不限量
  • MCP 工具调用不限量
  • 全部网关功能
  • 全部安全功能
  • 社区支持
立即自托管 →
适合大多数团队
生产环境 · 免费层
免费 阈值内

运行生产负载的小团队。

  • 每月最多 10,000,000 计费 Token
  • 每月最多 10,000 次 MCP 工具调用
  • 全部功能包含
  • BSL 1.1 授权
  • Change Date 后自动转为 GPL-2.0-or-later
阅读授权条款 →
生产环境 · 商业
阶梯 按用量

超出免费阈值的组织。

  • 每 UTC 月超过 1000 万 Token 或 1 万次 MCP 调用
  • 需要商业授权
  • 按用量阶梯计费
  • 可选优先支持
  • 定制部署咨询
联系销售 →

「计费 Token」和「MCP 工具调用」的定义、阶梯计费模型,以及到 GPL-2.0-or-later 的转换条款,详见 LICENSING.md

社区

见证项目成长.

ThinkWatch 开放开发。Star 仓库以追踪发布动态并共同塑造路线图。

Star history chart for ThinkWatchProject/ThinkWatch