预览截图
应用介绍
专为大模型打造的开源免费 API 智能路由与负载均衡神器,单地址接入、故障无感切换、限速轮询保护,开发必备。
核心功能介绍
支持标准OpenAI格式统一API单入口、多平台免费与付费大模型聚合管理、共享额度智能轮询调度、精准RPM请求速率保护、毫秒级故障自动切换降级、多阶段自适应冷却自愈、Auto智能路由与同系分组隔离、可视化模型拖拽排序、最多20次深度重试保障。
使用场景说明
100%完全开源且本地离线运行不泄密;一个统一API地址无缝调度所有大模型;遭遇限流欠费自动故障切换;支持灵活RPM限速与拖拽排序。
软件优势分析
彻底解决免费大模型频繁限流与手动换 Key 痛点,兼顾高可用与风格一致性,轻量便携开箱即用。
软件缺点
主要面向大语言模型 API 协议聚合与负载调度,不包含本地大模型权重文件的离线推理运行功能。
常见问题解答
Q1:在第三方客户端(如 NextChat 或沉浸式翻译)中如何配置使用 Smart Router?
A1:在客户端的 API 设置中,将接口类型选择为 OpenAI,API 地址(Base URL)填写为 Smart Router 本地地址(例如 http://127.0.0.1:端口/v1),API Key 填写您在 Smart Router 中设定的访问令牌,模型名称填写 auto 或您自定义的分组名即可。
Q2:为什么建议将免费模型的分组(Group)与 Auto 路由区分使用?
A2:不同厂商对同一开源模型(如 DeepSeek-V3)的命名格式可能略有差异,且不同大模型的能力边界不同。通过将同类型模型划入同一分组,可以确保发生故障回退时仍然在同一能力梯度的模型间无缝切换,避免生成格式异常。
Q3:添加免费模型 Key 时,速率限制(Rate Limit)该如何填写?
A3:大多数官方免费层级(如 Google AI Studio)通常限制为每分钟 15~20 次请求(RPM)。添加免费模型时建议填入 20;若为付费按量计费的官方 Key(无频率限制),可填入 -1 代表不限速。
Q4:Smart Router 会不会把用户填写的 API Key 上传到开发者服务器?
A4:绝对不会!Smart Router 是纯本地开源代理工具,所有配置文件与 Key 密钥均以本地文件形式加密保存在您的电脑硬盘中,所有网络请求均由本机直接与官方大模型服务器建立 TLS 通信,代码完全开源透明。
v1.0.0 绿色首发版:专精精简核心智能路由功能;改进智能路由轮询均衡策略;新增免费与付费模型 RPM 速度限制配置;支持模型列表可视化拖拽排序;优化请求失败重试与 429 冷却反馈机制。
更新日志
v1.0.0 绿色首发版:专精精简核心智能路由功能;改进智能路由轮询均衡策略;新增免费与付费模型 RPM 速度限制配置;支持模型列表可视化拖拽排序;优化请求失败重试与 429 冷却反馈机制。
总结
免费大模型经常限流欠费且换 Key 繁琐?Smart Router 支持本地多模型聚合、智能限速轮询、自动故障降级与统一 API 单地址接入,AI开发必备!
© 软件著作权归作者所有。本站所有软件均来源于网络,仅供学习使用,请支持正版。
本站提供的一切软件、教程和内容信息仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络收集整理,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑或手机中彻底删除上述内容。如果您喜欢该程序和内容,请支持正版。我们高度重视版权问题,如有侵权请点击上方【侵权/违规投诉通道】或邮件联系 xcya8@qq.com,我们将在核实后24小时内严格删除下架处理!
