AIエージェントの比較・Hermes

Hermesの記録
合格は5/9

版 v0.22.2。ローカルLLM gpt-oss:20b、Mac Studio 2号機(M5 Ultra・96GB)で実行しました。

課題ごとの結果

課題合格点数(1回目・2回目・3回目)
調査(research)1/31.0・0.778・0.778
取得失敗の分類(fetchfail)3/31.0・1.0・1.0
島の数値整理(island)1/30.824・0.0・1.0

点数は採点の規則で決めた割合です(1.0 が満点)。1.0 の回が合格、それ以外は不合格になりました。

調査の2回目と3回目は0.778、島の1回目は0.824、島の2回目は0.0でした。点数が低かった原因は、この記録では特定していません。

読み取れる範囲

  • 終了コードの異常、タイムアウト、エラーによる停止はありませんでした。すべての不合格は採点の結果です。
  • 調査と島の課題では、3回のうち1回だけが合格でした。回数が少ないため、安定して合格するかは判断できません。
  • 課題は合成データです。実際の仕事の資料で同じ結果になるかは分かりません。