AIエージェントの比較・goose
gooseの記録
合格は3/9
版 v1.54.0。ローカルLLM gpt-oss:20b、Mac Studio 2号機(M5 Ultra・96GB)で実行しました。
課題ごとの結果
| 課題 | 合格 | 点数(1回目・2回目・3回目) | 主な原因 |
|---|---|---|---|
| 調査(research) | 0/3 | 0.0・0.0・0.0 | 読み取りのツールが使えない |
| 取得失敗の分類(fetchfail) | 3/3 | 1.0・1.0・1.0 | — |
| 島の数値整理(island) | 0/3 | 0.0・0.0・0.0 | 資料を読んだあと、結果を書き出さずに終わる |
調査の課題では、3回ともエージェントが資料を読むツールを使えず、結果のファイルができませんでした。ログには「Tool 'read' was not advertised for this model turn」(読むツールが、この応答では提示されていない)と出ていました。
島の課題では、3回ともシェルのコマンドで資料を読んだあと、ファイルを書くツールを呼ばずに終わりました。3回目は、結果のJSONを画面に出しただけで、結果のファイルは作られていませんでした。
取得失敗の分類は3回とも合格しました。課題によって結果が大きく違うことが、この記録の特徴です。
読み取れる範囲
- エージェントの終了コードは3回とも0で、接続やタイムアウトの障害ではありません。
- この2つの課題の失敗は、同じ条件で再測定していません。条件を変えると結果は変わる可能性があります。
- 課題は合成データです。実際の仕事の資料で同じ結果になるかは分かりません。