跳到主要内容
版本：v0.1(draft)

我们的目标是什么？

我们致力于构建混合模型 (MoM) 的系统级智能，将集体智能引入 LLM 系统。

核心问题​

我们的项目解决了 LLM 系统中的五个基本挑战：

1. 如何捕获缺失的信号？​

在传统的 LLM 路由中，我们只关注用户的查询文本。但我们忽略了太多信息：

  • 上下文信号：这个查询关于什么领域？（数学、代码、创意写作？）
  • 质量信号：这个查询需要事实核查吗？用户是否在提供反馈？
  • 用户信号：用户的偏好是什么？他们的满意度如何？

我们的解决方案：一个全面的信号提取系统，从请求、响应和上下文中捕获 6 种类型的信号。

2. 如何结合这些信号？​

拥有多个信号固然很好，但我们如何将它们结合起来以做出更好的决策？

  • 如果我们检测到既有数学关键词又有数学领域，我们应该路由到数学模型吗？
  • 如果我们检测到要么是事实问题要么是敏感领域，我们应该启用事实核查吗？

我们的解决方案：一个灵活的决策引擎，具有 AND/OR 运算符，让您以强大的方式组合信号。

3. 如何更高效地协作？​

不同的模型擅长不同的事情。我们如何让它们像团队一样协作？

  • 将数学问题路由到专门的数学模型
  • 将创意写作路由到具有更好创造力的模型
  • 将代码问题路由到经过代码训练的模型
  • 简单任务使用较小的模型，复杂任务使用较大的模型

我们的解决方案：智能路由，基于多种信号（而不仅仅是简单的规则）将查询匹配到最佳模型。

4. 如何保护系统？​

LLM 系统面临独特的安全挑战：

  • 越狱攻击：试图绕过安全护栏的对抗性提示词
  • PII 泄漏：意外暴露敏感的个人信息
  • 幻觉：模型生成虚假或误导性信息

我们的解决方案：一个具有多层安全层（越狱检测、PII 过滤、幻觉检测）的插件链架构。

5. 如何收集有价值的信号？​

系统应该随着时间的推移学习和改进：

  • 跟踪哪些信号导致更好的路由决策
  • 收集用户反馈以改进信号检测
  • 构建一个随使用而变得更聪明的自学习系统

我们的解决方案：全面的可观测性和反馈收集，反馈到信号提取和决策引擎中。

愿景​

我们设想未来：

  • LLM 系统在系统级别上是智能的，而不仅仅是在模型级别
  • 多个模型无缝协作，各自发挥所长
  • 安全性是内置的，而不是事后添加的
  • 系统从每一次交互中学习和改进
  • 集体智能从信号、决策和反馈的组合中涌现

这为何重要​

对于开发者​

  • 用更少的精力构建更强大的 LLM 应用程序
  • 无需复杂的编排即可利用多个模型
  • 获得内置的安全性和合规性

对于组织​

  • 通过路由到合适的模型来降低成本
  • 通过专业的模型选择提高质量
  • 通过内置的 PII 和安全控制满足合规性要求

对于用户​

  • 获得更好、更准确的回复
  • 通过缓存体验更快的响应时间
  • 受益于改进的安全性和隐私保护

下一步​

了解有关核心概念的更多信息：