AIエージェントの比較

goose・OpenClaw・Hermes
同じ3課題で比べる

ローカルLLM(gpt-oss:20b)を使い、3つのエージェントに同じ課題を各3回ずつ実行させた結果です。

結果(合格数)

合格は採点の規則で決めました。3課題×3回=各製品9回、計27回の実測です(2026年10月18日に実行、10月19日に集計)。

製品調査(research)取得失敗の分類(fetchfail)島の数値整理(island)合計
goose0/33/30/33/9
OpenClaw0/32/33/35/9
Hermes1/33/31/35/9

終了コードの異常、タイムアウト、エラーによる停止は0件でした。不合格はすべて採点の結果です。

1回の実行にかかった時間は、goose が5.6〜17.9秒、Hermes が11.5〜26.6秒、OpenClaw が15.4〜46.7秒でした。課題ごとに仕事の量が違うため、時間の差は製品の速さの比較にはなりません。

製品ごとの記録

  • goose の記録: 調査と島の課題で、全回不合格になった理由。
  • Hermes の記録: 点数の内訳と、一部の回で基準に届かなかった項目。
  • 測り方: 条件、課題、採点の規則、版の固定、限界。

読み取れる範囲

  • 3製品とも、同じ課題で合格と不合格が分かれました。合格は3/9〜5/9です。
  • 1課題3回、合計27回の結果です。回数が少ないため、製品の優劣を確かに言える数ではありません。
  • goose は調査と島の課題で全回0点でした。調査では読み取りのツールが使えないと表示され、島では資料を読んだあとに結果を書き出さずに終わりました。
  • 課題の入力はすべて合成データです。実際の仕事の資料で同じ結果になるかは分かりません。
  • 同じ条件で Claude や Codex を動かした記録はありません(未測定)。そのため、既存の方法と比べて手直しの手間が減るかは判断できません。
  • 本部の実務で一定期間試す計画(第3段)は、試せる仕事が来なかったため実施していません(未測定)。製品の評価ではなく、試用の機会がなかったという事実です。