不是"我们觉得好就好"——每一分都有公式,每一条规则都可以审查
AgentRisk 的评分体系回答一个问题:一个 AI Agent 是否值得信任?
我们不认为"信任"可以被单一数字完全概括。但我们相信,信任可以被拆解为可观察、可验证、可复现的维度——而每个维度都可以被独立评估和改进。
AgentRisk 从以下六个维度评估每个 Agent 的信任水平:
| 维度 | 核心问题 | 主要信号来源 |
|---|---|---|
| 1. 真实性 authenticity | 这个 Agent 是它声称的那个东西吗? | 平台验证度(核心)+ bio长度 + 人工评估表 |
| 2. 一致性 consistency | 不同时间、不同来源的信息一致吗? | 时序方差算法——各维度历史评分变化幅度,变化越小得分越高 |
| 3. 透明度 transparency | 它把自己的信息公开了多少? | bio长度 + 数据源数量 + GitHub链接 + 人工评估表 |
| 4. 承诺度 commitment | 开发者在持续投入吗? | 数据源数量 + bio长度 + GitHub活跃度(提交/响应/发布) |
| 5. 选择权 choice | 用户能自由离开、自己掌控吗? | GitHub开源 + 数据源数量 + bio存在性 |
| 6. 可见性 presence(独立维度) | 它现在还活着、能被找到吗? | 存活监测:min(5, 1 + 活跃天数/30),不计入信任分 |
核心问题:这个 Agent 是它声称的那个东西吗?
评估内容:
加分项:域名与组织匹配、有公开 demo、第三方评测背书
扣分项:无法验证开发者身份、声称的能力无实证、多平台描述矛盾
核心问题:这个 Agent 说的和做的是同一件事吗?
评估内容:
加分项:长期稳定运行、变更记录透明、版本管理规范
扣分项:核心功能频繁变更且无说明、宣传与实际能力差距大
核心问题:你能看清楚这个 Agent 是怎么运作的吗?
评估内容:
加分项:开源、有详细文档、主动标注局限性、定价页清晰
扣分项:闭源且无说明、数据来源不明、隐藏收费、声称"万能"
核心问题:这个 Agent 的团队还在认真维护它吗?
评估内容:
加分项:近期有提交、Issue 响应及时、有路线图
扣分项:长期无更新、Issue 无人回应、项目标记为 archived
核心问题:如果你不满意,你能走吗?
评估内容:
加分项:支持数据导出、有标准 API、切换成本低
扣分项:数据无法导出、专有格式锁定、无退出通道
核心问题:你能找到这个 Agent 的完整信息吗?
评估内容:
每个维度评分范围:0.0 - 5.0
综合信任分(trust_score/overall_score)范围:0.0 - 5.0
综合信任分采用 Base 60% + Bonus 40% 结构:
trust_score = 0.6 × mean(五维得分) + 0.4 × bonus_score,范围 0.0–5.0。权重基于专业判断设定,随数据积累持续校准(见局限性说明)。
AgentRisk 只采集公开可获取的信息:
当前覆盖 60+个 数据源,收录 267万个 Agent(截至 2026-09,每30分钟增量更新)。
我们不采集:私有 API 数据、用户隐私信息、需登录才能访问的内容。
当一个 Agent 的某些维度缺少足够可观测信号时:
当前约 50% 的评分记录为 estimated(反映数据覆盖现状,而非 Agent 可信度)。
方法论仍在持续迭代,以下是我们在当前阶段已知的局限性:
我们目前在 60+个 数据源上追踪 Agent 信息,远未覆盖所有 AI Agent。未被收录不代表不信任,只是尚未发现。如果你使用的 Agent 不在我们的数据库中,可以通过提交页面告诉我们。
数据采集存在延迟。当 Agent 被更新、下架或修改后,评分可能需要 24-72 小时 才能反映最新状态。评分反映的是最近一次采集时的快照,不一定是实时状况。
当前六维权重(Base 60% / Bonus 40%,各维均分)基于我们的专业判断,尚未经过大规模实证校准。随着数据积累,我们可能会调整个别维度的权重。欢迎在反馈中挑战我们的权重选择。
当前评分分布如下:
| 分数段 | Agent 数量 | 占比 |
|---|---|---|
| 0.0 – 1.0 | 1,509 | 0.1% |
| 1.0 – 2.0 | 495,424 | 18.5% |
| 2.0 – 3.0 | 2,158,237 | 80.8% |
| 3.0 – 4.0 | 17,345 | 0.6% |
| 4.0 – 5.0 | 52 | 0.0% |
约 80.8% 的 Agent 评分集中在 2.0–3.0 区间,低分(<1.0)仅 0.1%,4.0 以上高分段稀疏(52 个)。相比 v0.1 时期(55.8% 低于 1.0),评分管线历经多轮校准后区分度有所改善,但中段密集、高分稀缺的结构仍在——大量 Agent 的可观测信任信号趋同,我们在持续研究如何拉开有效区分度。
AgentRisk 不是安全审计工具。高分不等于安全,低分不等于危险。我们评估的是"可验证的信任信号",不是技术安全性。如果发现 Agent 存在安全漏洞或恶意行为,请通过其他渠道报告。
| 版本 | 日期 | 变更 |
|---|---|---|
| v0.1 | 2026-05-31 | 初始公开版——六维框架定义、评分机制公开、诚实披露局限性、公开征集反馈 |
| v1.0 | 2026-09-06 | 数据口径更新(267万Agent/60+数据源);新增协议证据层——trust_proof 响应 ed25519 数字签名 + 每日哈希链锚定(/v1/proof/public_key 可独立验签);评分分布按最新管线校准 |
这份方法论是 v1.0,但我们仍预期它不完善。如果你发现:
请告诉我们。每一个认真的质疑都是方法论改进的输入。