Benchmark Rubric
最終更新: 2026-03-06
この文書は claude-code-harness と他ツールを比較するときの再実行可能な rubric です。 README の印象ではなく、静的証拠と実行証拠を分けて採点します。
Evidence Classes
| Class | 例 | 使いどころ |
|---|---|---|
| Static evidence | README, repo tree, hooks 定義, tests, docs, package metadata | 仕組みの有無、設計の明確さ、配布導線の比較 |
| Executed evidence | test run, smoke run, benchmark logs, evidence pack, CI artifact | 主張が再現できるか、guardrail が実際に効くかの比較 |
Scoring Axes
| Axis | Weight | What to inspect |
|---|---|---|
| Runtime enforcement | 25 | Hooks, guardrails, deny/warn behavior, lifecycle automation |
| Verification and test credibility | 25 | Unit/integration tests, consistency checks, evidence pack, CI coverage |
| Onboarding and operator clarity | 20 | install flow, docs completeness, claim consistency, quickstart quality |
| Scope discipline and maintainability | 15 | distribution boundary, compatibility story, residue management |
| Positioning and adoption proof | 15 | public narrative, stars/users, reproducible showcase, differentiation |
合計: 100 点
Review Flow
- Static evidence を集める
- Executed evidence が必要な claim を列挙する
- 実行できた claim と、未実行で保留の claim を分ける
- 各 axis を採点し、証拠の種別を明記する
- 「設計は強いが未実証」「市場は強いが runtime enforcement は薄い」など、強みと弱みを別々に書く
Required Output Format
比較レポートは最低でも次を含める。
- 比較日時
- 対象リポジトリ / バージョン / commit or default branch snapshot
- 実行したコマンド一覧
- Static evidence と Executed evidence の区分
- 軸ごとの点数
- 再現しきれなかった項目
Reusable Template
md
# Benchmark Report
- Compared at:
- Repositories / versions:
- Commands executed:
## Static evidence
- Repo structure:
- Docs and claims:
- Guardrails / hooks / tests:
## Executed evidence
- Validation commands:
- Benchmark or smoke runs:
- Evidence artifacts:
## Scores
| Axis | Score | Evidence type | Notes |
|------|-------|---------------|-------|
| Runtime enforcement | | Static / Executed | |
| Verification and test credibility | | Static / Executed | |
| Onboarding and operator clarity | | Static / Executed | |
| Scope discipline and maintainability | | Static / Executed | |
| Positioning and adoption proof | | Static / Executed | |
## Unverified or blocked items
- なし
## Harness-specific Notes
- `/harness-work all` のような強い claim は、`docs/evidence/work-all.md` の実行証拠が揃ってから高得点化する
- `commands/` や `mcp-server/` のような残置物は減点対象ではなく、**説明が曖昧なときだけ減点**する
- README の主張とテスト/CI/配布境界が噛み合っていない場合は `Onboarding and operator clarity` を下げる