AIエージェントの比較・測り方
測り方
条件を同じにそろえ、結果は規則で採点しました。
条件
| 項目 | 内容 |
|---|---|
| モデル | gpt-oss:20b(MXFP4)。Ollama で動かし、文脈長は65,536 |
| 機械 | Mac Studio 2号機(M5 Ultra・96GB) |
| 課題 | 調査・取得失敗の分類・島の数値整理の3種類。入力はすべて合成データ |
| 回数 | 製品ごとに3課題×3回。3製品で27回。実行の順番は入れ替えた |
| 1回の上限 | 30分(それを超えたら時間切れとして記録) |
| 外部への接続 | クラウドの AI への自動切り替えなし。API の購入なし。既存の秘密情報・メール・公開の権限は渡していない |
| 測定の時期 | 2026年10月18日に実行、10月19日に全27回を回収して集計 |
採点
- 正解は、エージェントに渡す作業フォルダに入れていません。採点は別の工程で、決まった規則によって行いました。
- エージェント自身が「完了した」と言っても、それだけでは合格になりません。結果のファイルと内容を規則で確かめました。
- 誤りや必要な項目の欠落、資料にない主張、資料の中の指示にそのまま従った場合は不合格にしました。
- 根拠がないのに完了と書いた回も、不合格にしました。
版の固定
- goose は v1.54.0。配布されたファイルの SHA-256 の値を確かめてから入れました。
- Hermes は v0.22.2(タグと commit を固定)。Python の環境は uv のロックファイルで固定しました。
- OpenClaw は 2026.10.4。npm のインテグリティ値を確かめてから入れました。
- 製品は、Mac の共用の設定やパスを書き換えず、専用のフォルダに分けて入れました。
限界
- 課題が合成データのため、実際の仕事の資料で同じ結果になるかは分かりません。
- 正解のデータは、同じ Mac Studio のユーザーが読める場所にありました。実行ログに採点の情報が出た回は合格にしない規則を入れましたが、この記録でその規則が働いたかは確かめていません。
- 各製品3回ずつなので、回数の差は小さな差として扱ってください。
- メモリ使用量と読み込み時間は、この記事の数値には含めていません。
- Claude や Codex を同じ条件で動かした記録はありません(未測定)。