AI模型聚合网关OmniRoute，一个OpenAI兼容接口聚合290+ AI provider / 516+模型，自动fallback+RTK/Caveman压缩节省15-95% token，43个免费provider pool ~1.53B免费token/月。
AI模型聚合网关 OmniRoute，GitHub 40k+ stars / 月增 28.5k 的爆款 AI 网关项目，一个 OpenAI 兼容接口即可调用 290+ provider / 516+ 模型。内置 CLI / Docker / MCP server / Electron 多端支持，自动 fallback + RTK/Caveman 双压缩算法节省 15-95% token，43 个免费 provider pool 合并 ~1.53B 免费 token/月。是个人开发者、中小企业、AI Agent 开发者的 token 省钱神器。
OmniRoute 是什么
OmniRoute 是一个 免费的 AI 模型聚合网关，由 diegosouzapw（巴西开发者）开源。它解决了一个关键痛点：
多 SDK 之苦：Claude 用 Anthropic SDK，GPT 用 OpenAI SDK，Gemini 用 Google SDK……几十个 SDK 几十套 API
免费额度散落：每个 provider 都有免费 tier，但分散管理很痛苦
故障切换：一个 provider 挂了业务就停
token 浪费：长 prompt 没压缩，token 烧得快
OmniRoute 用 一个 OpenAI 兼容接口解决所有问题：
统一接口：写一次代码，调用所有模型
统一认证：管理一次 provider 凭证，所有端都能用
统一额度：dashboard 实时显示每个 provider 免费额度剩余
自动 fallback：provider 挂了自动切换下一个
RTK + Caveman 压缩：自动压缩重复/可推断 token，节省 15-95%
为什么选 OmniRoute
市面 AI 网关竞品对比：
OpenRouter：商业化运营，free tier 较少，主要面向美国 provider（DeepSeek/GLM/Qwen/Doubao 等国内模型支持弱）
OpenAI Gateway：OpenAI 官方，仅支持 OpenAI 生态
Portkey：商业 SaaS，免费额度限制较多
LiteLLM：Python 框架，需要自己部署运维
OmniRoute：开源免费，290+ provider（含国内），CLI/Docker/Electron 多端，RTK 压缩免费开启
关键优势：免费 + 开源 + 国内 provider 全 + 多端 + 压缩 + dashboard。对个人开发者和中小企业特别合适。
使用场景
适合 AI工具专区 场景下的素材使用，包括个人项目和商业项目，可直接应用或二次修改。AI模型聚合网关OmniRoute特别适合：
个人开发者：Claude Code / Cursor / Codex / Cline / Copilot 接入 OmniRoute，免费用 290+ AI 模型
创业团队：聚合多 provider，任何一家挂了不影响业务
AI Agent 开发者：用 MCP server 给 Claude Code / Cursor 暴露无限模型选择
Token 省钱：RTK + Caveman 压缩自动开启，长 prompt 节省 30-50%
多端协同：CLI / Docker / Electron / Web dashboard 同一份配置
国内模型接入：DeepSeek / GLM / Qwen / Doubao 全部支持
核心功能详解
1. 聚合 290+ provider / 516+ 模型
主流 provider 全覆盖：
美国：OpenAI / Anthropic / Google / xAI / Mistral / Meta / Cohere / Perplexity
中国：DeepSeek / GLM / Qwen / Doubao / Hunyuan / 文心一言
其他：Groq / Together / Fireworks / OpenRouter / Replicate / HuggingFace
2. ~1.53B 免费 token/月
43 个免费 provider pool 合并统计：
Mistral Large 3：1B token/月
GPT-4o mini：150M/月
Gemini 2.5 Flash：60M/月
Claude Sonnet 4.5：25K/月
Vertex 注册奖励：300M（一次性首月）
其他永久免费无上限：SiliconFlow / Z.AI GLM-Flash / Kilo / OpenCode Zen / 百度
OpenRouter 充值 $10 还可额外解锁 24M/月（在 dashboard 单独显示，不膨胀主数字）。
3. RTK + Caveman 双压缩算法
RTK：移除重复 token，对长文档友好。
Caveman：简化 prompt 结构，去除礼貌语/冗余。
实测长 prompt（>5K token）节省 30-50% token，短对话节省 15-20%。
4. 自动 fallback
配置优先级链：primary provider 失败 → 自动尝试 fallback1 → fallback2 → ...
对生产环境业务特别重要，一个 provider 挂了不影响服务。
5. Live Dashboard
访问 /dashboard/free-tiers 看：
每个 provider 免费额度已用 / 剩余
本月 token 消耗统计
压缩节省比例
Fallback 触发次数
6. MCP Server
给 Claude Code / Cursor 暴露 MCP 接口，可以直接在 IDE 里切换模型：
用 GPT-4o 写代码
用 Claude 3.5 Sonnet 解释复杂代码
用 Gemini 2.5 Pro 分析长文档
用 DeepSeek V4 Flash 跑批量任务
目录结构（已剥离 117MB）
@omniroute/：核心 SDK 包
bin/：CLI 工具（omniroute 命令行）
src/：服务器源代码
config/：配置文件
open-sse/：SSE 协议实现（流式输出核心）
public/：前端 dashboard 静态资源
scripts/：构建脚本
electron/：Electron 桌面版源码
docker/：Docker 部署配置
skills/：AI Agent 技能定义
contrib/：社区贡献代码
已剥离（节省 117MB）：docs/(94MB 截图)、tests/(22MB)、examples/、images/、.github/、.husky/、.source/、.vale/、.vscode/、changelog.d/。保留完整可运行源码，dashboard 可通过 npm run build 重建。
快速上手（4 种方式）
方式 1：Docker 部署（推荐）
1) 安装 Docker(https://www.docker.com/) 2) docker pull diegosouzapw/omniroute 3) docker run -d -p 8080:8080 diegosouzapw/omniroute 4) 访问 http://localhost:8080/dashboard/free-tiers 看 free tier 实时额度
方式 2：npm CLI 安装
1) npm install -g omniroute 2) omniroute start # 启动本地服务 3) omniroute config # 配置 provider 4) 在 Claude Code / Cursor 配置 OpenAI 兼容 endpoint 指向 localhost:8080
方式 3：Electron 桌面
1) cd electron 2) npm install && npm run build 3) 启动桌面应用,内置 dashboard
方式 4：源码运行
1) 解压本资源包 2) npm install 3) npm run dev # 启动开发服务器
接入 Claude Code / Cursor 示例
把 OpenAI 兼容 endpoint 配置成 http://localhost:8080/v1，模型名写成 free-mistral-large-3、free-gpt-4o-mini 等免费模型代号，所有调用走 OmniRoute 自动调度。
常见问题
Q：免费 token 额度怎么算？
A：OmniRoute 聚合各 provider 公开 free tier 实际额度，不去重可能 ~10B，去重后约 1.53B/月。每 2 周根据 catalog 重新审计，数字会动态变化。
Q：RTK 压缩会影响模型效果吗？
A：对文本结构/重复 token 友好，长文档/代码效果更佳，短对话影响微小。压缩算法保守，不会改变语义。
Q：商业项目能用吗？
A：可以，MIT 开源协议。每月 token 用量 < free tier 不花钱，超出按 provider 原价计费。OmniRoute 本身不收任何中间费。
Q：和 OpenRouter 比有什么优势？
A：1）国内 provider 支持更全（DeepSeek/GLM/Qwen/Doubao）；2）免费额度更高；3）CLI 一键启动；4）开源免费，无平台抽成。
Q：怎么避免被某个 provider 限流？
A：配置 fallback 链（primary → fallback1 → fallback2），OmniRoute 自动在限流时切换。
版权声明
1. 本站文字内容为原创编撰或者网络搜集整理，受著作权保护，禁止未经授权批量采集转载。
2. 本站分享的各类源码、AI大模型、程序工具仅作技术科普部署教程使用，不直接存储原版版权文件。
3. 所有第三方资源的知识产权、开源协议、商用授权规则均归原开发团队所有。
4. 使用者下载、部署、二次开发必须严格遵守国家著作权相关法律法规，
以及资源官方许可协议，如需商业运营，务必向版权方申请合法授权。
5. 因用户私自商用、违规分发资源造成的法律纠纷与经济损失，
全部由使用者自行承担，本站不承担连带责任。
