评分方法论

不是"我们觉得好就好"——每一分都有公式,每一条规则都可以审查

v0.1 · 2026-05-31
💬 公开征集反馈 — 这是v0.1,评分方法还在迭代。如果你发现不合理之处或改进方向,欢迎联系我们

核心理念

AgentRisk 的评分体系回答一个问题:一个 AI Agent 是否值得信任?

我们不认为"信任"可以被单一数字完全概括。但我们相信,信任可以被拆解为可观察、可验证、可复现的维度——而每个维度都可以被独立评估和改进。

评分不是审判,是体检报告。
低分不是终点,是改进的起点。一个在透明度上得分低的 Agent,可以通过开源代码、公开文档来提升。一个在承诺度上得分低的 Agent,可以通过持续的 GitHub 提交和社区互动来改善。

六维评分框架

AgentRisk 从以下六个维度评估每个 Agent 的信任水平:

{DIM_TABLE}

1. 真实性(authenticity)

核心问题:这个 Agent 是它声称的那个东西吗?

评估内容:

  • 身份可验证性——开发者身份是否可通过 GitHub 验证、域名所有权、组织认证等方式确认
  • 能力真实性——Agent 声称的功能是否有可运行的演示、API 端点或第三方验证
  • 信息一致性——不同平台上关于该 Agent 的描述是否一致

加分项:域名与组织匹配、有公开 demo、第三方评测背书

扣分项:无法验证开发者身份、声称的能力无实证、多平台描述矛盾

评分来源:平台验证度(核心)+ bio长度 + 人工评估表

2. 一致性(consistency)

核心问题:这个 Agent 说的和做的是同一件事吗?

评估内容:

  • 主张与行为一致——Agent 的宣传内容与实际输出是否匹配
  • 历史稳定性——Agent 的核心功能和服务条款是否频繁变更
  • 跨平台一致性——在不同环境下(不同平台、不同用户)的表现是否稳定

加分项:长期稳定运行、变更记录透明、版本管理规范

扣分项:核心功能频繁变更且无说明、宣传与实际能力差距大

评分来源:时序方差算法——分析各维度历史评分的变化幅度,变化越小得分越高

3. 透明度(transparency)

核心问题:你能看清楚这个 Agent 是怎么运作的吗?

评估内容:

  • 代码/逻辑公开——是否开源或提供运作逻辑说明
  • 数据来源披露——是否说明训练数据、知识来源和更新频率
  • 局限性声明——是否主动告知不适用场景和已知缺陷
  • 定价透明——费用结构是否清晰,有无隐藏成本

加分项:开源、有详细文档、主动标注局限性、定价页清晰

扣分项:闭源且无说明、数据来源不明、隐藏收费、声称"万能"

评分来源:bio长度 + 数据源数量 + GitHub链接 + 人工评估表

4. 承诺度(commitment)

核心问题:这个 Agent 的团队还在认真维护它吗?

评估内容:

  • 维护活跃度——代码提交频率、Issue 响应速度、版本发布节奏
  • 社区参与度——是否积极回应用户反馈和 Bug 报告
  • 持续运营信号——团队是否有持续运营的资金、计划和信号

加分项:近期有提交、Issue 响应及时、有路线图

扣分项:长期无更新、Issue 无人回应、项目标记为 archived

评分来源:数据源数量 + bio长度 + GitHub活跃度

5. 选择权(choice)

核心问题:如果你不满意,你能走吗?

评估内容:

  • 数据可携性——用户数据是否可以导出、迁移
  • 退出机制——是否有清晰的注销/删除流程
  • 替代方案——市场上是否存在功能相近的替代品
  • 锁定程度——切换成本有多高(数据格式、API 兼容性)

加分项:支持数据导出、有标准 API、切换成本低

扣分项:数据无法导出、专有格式锁定、无退出通道

评分来源:GitHub开源 + 数据源数量 + bio存在性

6. 可见性(presence)——独立维度

核心问题:你能找到这个 Agent 的完整信息吗?

评估内容:

  • 信息完整度——是否有官网、文档、联系方式
  • 在线存在时间——Agent 首次出现至今的活跃天数
  • 多平台覆盖——是否在多个平台存在

可见性是独立于信任分的"可触达性"评分,不参与信任分计算。评分公式:min(5, 1 + 活跃天数 / 30)

评分机制

评分范围

每个维度评分范围:0.0 - 5.0

综合信任分(trust_score/overall_score)范围:0.0 - 5.0

权重分配

{FORMULA_EXPLANATION}

评分来源

AgentRisk 只采集公开可获取的信息

  • 代码仓库(GitHub 等)的公开数据
  • 产品页面和文档的公开内容
  • Agent 目录站(HuggingFace、GPTs Store、Coze、AgentWorld 等)
  • 链上合约数据(Web3 Agent)

当前覆盖 49个 数据源,收录 1,094,133个 Agent(截至 2026-05-31)。

我们不采集:私有 API 数据、用户隐私信息、需登录才能访问的内容。

estimated 标记

当一个 Agent 的某些维度缺少足够可观测信号时:

  • 不会自动给零分(缺少信息 ≠ 不信任)
  • 不会自动给满分(缺少信息 ≠ 值得信任)
  • 该维度标记为 estimated,不参与信任分计算
  • 剩余维度的权重按比例重新分配

当前约 50% 的评分记录为 estimated(反映数据覆盖现状,而非 Agent 可信度)。

局限性说明

这份方法论是 v0.1,以下是我们在当前阶段已知的局限性:

1. 数据覆盖不完整

我们目前在 49个 数据源上追踪 Agent 信息,远未覆盖所有 AI Agent。未被收录不代表不信任,只是尚未发现。如果你使用的 Agent 不在我们的数据库中,可以通过提交页面告诉我们。

2. 评分有时滞

数据采集存在延迟。当 Agent 被更新、下架或修改后,评分可能需要 24-72 小时 才能反映最新状态。评分反映的是最近一次采集时的快照,不一定是实时状况。

3. 维度权重待验证

当前六维权重(Base 60% / Bonus 40%,各维均分)基于我们的专业判断,尚未经过大规模实证校准。随着数据积累,我们可能会调整个别维度的权重。欢迎在反馈中挑战我们的权重选择。

4. 评分区分度问题

当前评分分布如下:

{DISTRIBUTION_INFO}

55.8% 的 Agent 评分在 1.0 以下,高分段稀疏。这可能是评分逻辑需要调整的信号(区分度不足),也可能是数据质量的真实反映——大量 Web3 Agent 缺乏足够的可观测信任信号。我们还在研究如何改进区分度。

5. 不具备审计能力

AgentRisk 不是安全审计工具。高分不等于安全,低分不等于危险。我们评估的是"可验证的信任信号",不是技术安全性。如果发现 Agent 存在安全漏洞或恶意行为,请通过其他渠道报告。

版本历史

版本日期变更
v0.12026-05-31初始公开版——六维框架定义、评分机制公开、诚实披露局限性、公开征集反馈

反馈与参与

这份方法论是 v0.1,意味着我们预期它不完善。如果你发现:

  • 某个维度的定义有漏洞
  • 权重分配不合理
  • 评分结果与你对某个 Agent 的认知严重不符
  • 有我们没考虑到的信任信号

请告诉我们。每一个认真的质疑都是方法论改进的输入。