Benchmark health

Catalog discovery, scraper implementation, admission, and rank eligibility are separate stages. This page reports each without turning missing publication into a claim that a benchmark is dead.

我们今天能回答的问题

不可用并不代表某个基准已经失效。它只是说明目前没有可用的数据源来支撑公开排名,因此 EvalRank 选择暂不发布,而不是给出一个站不住脚的答案。恢复数据源、修复抓取流程之后,情况可能会改变。

每张卡片代表一类人们用 AI 做的工作。打开任意一张,看看各个选项的对比情况。

证据更新于 8分钟前

13 种工作类型尚未排名显示

EvalRank 理解这些问题,但目前还没有足够的独立证据来为它们排名。列在这里,是为了让这些空白一目了然。

  • Function and tool calling

    未排名

    Emit correct schema-valid tool calls

    已达到:已收录

    0 已实现 · 0 已纳入 · 0 具备排名资格

  • Web browsing and navigation

    未排名

    Retrieve and act on live web content

    已达到:已收录

    0 已实现 · 0 已纳入 · 0 具备排名资格

  • Computer use

    未排名

    Operate a graphical interface to complete a task

    已达到:已收录

    0 已实现 · 0 已纳入 · 0 具备排名资格

  • Deep research

    未排名

    Synthesize multiple sources with traceable citations

    已达到:已收录

    0 已实现 · 0 已纳入 · 0 具备排名资格

  • Customer support agent

    未排名

    Resolve user support issues end to end

    已达到:已收录

    0 已实现 · 0 已纳入 · 0 具备排名资格

  • Mathematical reasoning

    未排名

    Solve quantitative or symbolic problems

    已达到:已收录

    0 已实现 · 0 已纳入 · 0 具备排名资格

  • Long-term memory

    未排名

    Persist and recall useful information across sessions

    已达到:已收录

    0 已实现 · 0 已纳入 · 0 具备排名资格

  • Finance

    未排名

    Perform domain-grounded financial reasoning and workflows

    已达到:已收录

    0 已实现 · 0 已纳入 · 0 具备排名资格

  • Legal

    未排名

    Perform domain-grounded legal reasoning and drafting

    已达到:已收录

    0 已实现 · 0 已纳入 · 0 具备排名资格

  • Medical

    未排名

    Perform domain-grounded clinical reasoning and question answering

    已达到:已收录

    0 已实现 · 0 已纳入 · 0 具备排名资格

  • SRE incident response

    未排名

    Diagnose and repair live service or infrastructure incidents

    已达到:已收录

    0 已实现 · 0 已纳入 · 0 具备排名资格

  • Professional deliverables

    未排名

    Create review-ready professional work products from a complete brief, domain context, and reference files.

    已达到:已收录

    0 已实现 · 0 已纳入 · 0 具备排名资格

  • Computational research reproduction

    未排名

    Reproduce published computational results by implementing or executing experiments from papers, code, data, and environments.

    已达到:已收录

    0 已实现 · 0 已纳入 · 0 具备排名资格

健康状况生成于 2026年11月4日 00:14 UTC