AIエージェントの比較・goose

gooseの記録
合格は3/9

版 v1.54.0。ローカルLLM gpt-oss:20b、Mac Studio 2号機(M5 Ultra・96GB)で実行しました。

課題ごとの結果

課題合格点数(1回目・2回目・3回目)主な原因
調査(research)0/30.0・0.0・0.0読み取りのツールが使えない
取得失敗の分類(fetchfail)3/31.0・1.0・1.0—
島の数値整理(island)0/30.0・0.0・0.0資料を読んだあと、結果を書き出さずに終わる

調査の課題では、3回ともエージェントが資料を読むツールを使えず、結果のファイルができませんでした。ログには「Tool 'read' was not advertised for this model turn」(読むツールが、この応答では提示されていない)と出ていました。

島の課題では、3回ともシェルのコマンドで資料を読んだあと、ファイルを書くツールを呼ばずに終わりました。3回目は、結果のJSONを画面に出しただけで、結果のファイルは作られていませんでした。

取得失敗の分類は3回とも合格しました。課題によって結果が大きく違うことが、この記録の特徴です。

読み取れる範囲

  • エージェントの終了コードは3回とも0で、接続やタイムアウトの障害ではありません。
  • この2つの課題の失敗は、同じ条件で再測定していません。条件を変えると結果は変わる可能性があります。
  • 課題は合成データです。実際の仕事の資料で同じ結果になるかは分かりません。