AIエージェントの比較
goose・OpenClaw・Hermes
同じ3課題で比べる
ローカルLLM(gpt-oss:20b)を使い、3つのエージェントに同じ課題を各3回ずつ実行させた結果です。
結果(合格数)
合格は採点の規則で決めました。3課題×3回=各製品9回、計27回の実測です(2026年10月18日に実行、10月19日に集計)。
| 製品 | 調査(research) | 取得失敗の分類(fetchfail) | 島の数値整理(island) | 合計 |
|---|---|---|---|---|
| goose | 0/3 | 3/3 | 0/3 | 3/9 |
| OpenClaw | 0/3 | 2/3 | 3/3 | 5/9 |
| Hermes | 1/3 | 3/3 | 1/3 | 5/9 |
終了コードの異常、タイムアウト、エラーによる停止は0件でした。不合格はすべて採点の結果です。
1回の実行にかかった時間は、goose が5.6〜17.9秒、Hermes が11.5〜26.6秒、OpenClaw が15.4〜46.7秒でした。課題ごとに仕事の量が違うため、時間の差は製品の速さの比較にはなりません。
製品ごとの記録
- goose の記録: 調査と島の課題で、全回不合格になった理由。
- Hermes の記録: 点数の内訳と、一部の回で基準に届かなかった項目。
- 測り方: 条件、課題、採点の規則、版の固定、限界。
読み取れる範囲
- 3製品とも、同じ課題で合格と不合格が分かれました。合格は3/9〜5/9です。
- 1課題3回、合計27回の結果です。回数が少ないため、製品の優劣を確かに言える数ではありません。
- goose は調査と島の課題で全回0点でした。調査では読み取りのツールが使えないと表示され、島では資料を読んだあとに結果を書き出さずに終わりました。
- 課題の入力はすべて合成データです。実際の仕事の資料で同じ結果になるかは分かりません。
- 同じ条件で Claude や Codex を動かした記録はありません(未測定)。そのため、既存の方法と比べて手直しの手間が減るかは判断できません。
- 本部の実務で一定期間試す計画(第3段)は、試せる仕事が来なかったため実施していません(未測定)。製品の評価ではなく、試用の機会がなかったという事実です。