Benchmark health
Catalog discovery, scraper implementation, admission, and rank eligibility are separate stages. This page reports each without turning missing publication into a claim that a benchmark is dead.
我们今天能回答的问题
每张卡片代表一类人们用 AI 做的工作。打开任意一张,看看各个选项的对比情况。
证据更新于 8分钟前
Coding (general)
活跃Rank coding models and agents on general software tasks: code generation, repository-level SWE, and terminal work
已达到:已纳入
7 已实现 · 7 已纳入 · 0 具备排名资格
MCP tool orchestration
活跃Coordinate MCP tools to complete a task
已达到:已纳入
4 已实现 · 4 已纳入 · 0 具备排名资格
Enterprise and CRM workflow
活跃Execute business workflows across enterprise systems
已达到:已纳入
1 已实现 · 1 已纳入 · 0 具备排名资格
General knowledge QA
活跃Answer broad knowledge questions accurately
已达到:已纳入
3 已实现 · 3 已纳入 · 0 具备排名资格
RAG and retrieval
活跃Retrieve relevant context and ground an answer
已达到:已纳入
13 已实现 · 13 已纳入 · 0 具备排名资格
Multilingual
活跃Maintain quality across languages and translation tasks
已达到:已纳入
2 已实现 · 2 已纳入 · 0 具备排名资格
Vision and multimodal
活跃Reason over images, audio, or video
已达到:已纳入
1 已实现 · 1 已纳入 · 0 具备排名资格
Coding (frontend)
活跃Rank models and agents on building and iterating web interfaces from a specification
已达到:已纳入
1 已实现 · 1 已纳入 · 0 具备排名资格
Reasoning
活跃Solve novel multi-step reasoning tasks
已达到:已纳入
3 已实现 · 3 已纳入 · 0 具备排名资格
Factuality
活跃Produce correct and grounded factual claims
已达到:已纳入
5 已实现 · 5 已纳入 · 0 具备排名资格
Writing
活跃Produce high-quality creative and long-form prose from an open prompt, judged on human-preference writing quality.
已达到:已纳入
2 已实现 · 2 已纳入 · 0 具备排名资格
Security code review
活跃Find security vulnerabilities in real application code and fix them without breaking legitimate behavior
已达到:已纳入
4 已实现 · 2 已纳入 · 0 具备排名资格
Code review
活跃Review a code change and catch the real bugs it introduces without burying them in invalid or low-value comments
已达到:已纳入
2 已实现 · 1 已纳入 · 0 具备排名资格
Instruction following
活跃Follow every explicit instruction and output constraint in a prompt exactly, and restate the stated requirements faithfully without dropping or inventing any
已达到:已纳入
2 已实现 · 2 已纳入 · 0 具备排名资格
Content-safety classification
活跃Classify text as safe or unsafe, flagging unsafe content with high recall while rarely flagging harmless text that only sounds unsafe
已达到:已纳入
1 已实现 · 1 已纳入 · 0 具备排名资格
Image generation
活跃Generate images from a text prompt
已达到:已纳入
1 已实现 · 1 已纳入 · 0 具备排名资格
13 种工作类型尚未排名显示
EvalRank 理解这些问题,但目前还没有足够的独立证据来为它们排名。列在这里,是为了让这些空白一目了然。
Function and tool calling
未排名Emit correct schema-valid tool calls
已达到:已收录
0 已实现 · 0 已纳入 · 0 具备排名资格
Web browsing and navigation
未排名Retrieve and act on live web content
已达到:已收录
0 已实现 · 0 已纳入 · 0 具备排名资格
Computer use
未排名Operate a graphical interface to complete a task
已达到:已收录
0 已实现 · 0 已纳入 · 0 具备排名资格
Deep research
未排名Synthesize multiple sources with traceable citations
已达到:已收录
0 已实现 · 0 已纳入 · 0 具备排名资格
Customer support agent
未排名Resolve user support issues end to end
已达到:已收录
0 已实现 · 0 已纳入 · 0 具备排名资格
Mathematical reasoning
未排名Solve quantitative or symbolic problems
已达到:已收录
0 已实现 · 0 已纳入 · 0 具备排名资格
Long-term memory
未排名Persist and recall useful information across sessions
已达到:已收录
0 已实现 · 0 已纳入 · 0 具备排名资格
Finance
未排名Perform domain-grounded financial reasoning and workflows
已达到:已收录
0 已实现 · 0 已纳入 · 0 具备排名资格
Legal
未排名Perform domain-grounded legal reasoning and drafting
已达到:已收录
0 已实现 · 0 已纳入 · 0 具备排名资格
Medical
未排名Perform domain-grounded clinical reasoning and question answering
已达到:已收录
0 已实现 · 0 已纳入 · 0 具备排名资格
SRE incident response
未排名Diagnose and repair live service or infrastructure incidents
已达到:已收录
0 已实现 · 0 已纳入 · 0 具备排名资格
Professional deliverables
未排名Create review-ready professional work products from a complete brief, domain context, and reference files.
已达到:已收录
0 已实现 · 0 已纳入 · 0 具备排名资格
Computational research reproduction
未排名Reproduce published computational results by implementing or executing experiments from papers, code, data, and environments.
已达到:已收录
0 已实现 · 0 已纳入 · 0 具备排名资格
健康状况生成于 2026年11月4日 00:14 UTC