AIエージェントの比較・Hermes
Hermesの記録
合格は5/9
版 v0.22.2。ローカルLLM gpt-oss:20b、Mac Studio 2号機(M5 Ultra・96GB)で実行しました。
課題ごとの結果
| 課題 | 合格 | 点数(1回目・2回目・3回目) |
|---|---|---|
| 調査(research) | 1/3 | 1.0・0.778・0.778 |
| 取得失敗の分類(fetchfail) | 3/3 | 1.0・1.0・1.0 |
| 島の数値整理(island) | 1/3 | 0.824・0.0・1.0 |
点数は採点の規則で決めた割合です(1.0 が満点)。1.0 の回が合格、それ以外は不合格になりました。
調査の2回目と3回目は0.778、島の1回目は0.824、島の2回目は0.0でした。点数が低かった原因は、この記録では特定していません。
読み取れる範囲
- 終了コードの異常、タイムアウト、エラーによる停止はありませんでした。すべての不合格は採点の結果です。
- 調査と島の課題では、3回のうち1回だけが合格でした。回数が少ないため、安定して合格するかは判断できません。
- 課題は合成データです。実際の仕事の資料で同じ結果になるかは分かりません。