ローカルLLMの実務課題
AIエージェントの
実務課題30問の結果
集計・整形・抽出・分類・検算を、2台のMac Studioで試しました。
結果
2026年10月29日、初期30課題のすべてで作成とレビューの工程が完了しました。作成は最初の回答で27/30問が合格し、再試行を含めると30問すべてが合格しました。
| Mac・モデル | 作成 | レビュー | 使用トークン |
|---|---|---|---|
| Studio 1・M5 Max 36GB qwen3.8:27b | 14/14 合格 | 16/16 正しい | 330,898 |
| Studio 2・M5 Ultra 96GB qwen3.6:35b-a3b | 16/19 合格 (3問は再試行後に合格) | 14/16 正しい (2問は再試行後に正解) | 424,652 |
課題は5種類(数値の集計、表の整形、文章からの抽出、問い合わせの分類、請求書の検算)で、各種類に通常・誤答を誘う問題・入力不足の問題を各2問ずつ用意しました。
レビューで分かったこと(初期30問+誤答検出20問)
初期30問のレビューは、作成ステージで正解と一致した回答だけを確認しました。32回のレビュー試行のうち30回が正しい判定でした。誤った2回はいずれも、正しい回答に「直して」と判定したものです。サーバーが不合格として記録し、再試行で正しく判定しました。
続けて、レビュー役が間違った回答を見抜けるかを測るため、意図的に規則違反を埋め込んだ誤答15問と正答5問の計20問をレビュー専用課題として実行しました(2026年10月29日完了)。
| 指標(誤答検出20問) | 結果 |
|---|---|
| 初回で正しい判定 | 16/20(80%) |
| 初回に有効結果なし | 4/20(20%・プロセス未完了3件、リース期限切れ1件) |
| 再試行後に正しい判定で完了 | 20/20 |
| 誤答候補(15問)の誤受理 | 0件(初回の有効判定14件でも0件) |
| 正答候補(5問)の誤棄却 | 0件(初回の有効判定2件でも0件) |
| Studio 1(qwen3.8:27b) | 有効判定 9/9 正解(初回 8/8 正解) |
| Studio 2(qwen3.6:35b-a3b) | 有効判定 11/11 正解・有効結果なし4回(初回は正解8回・有効結果なし4回) |
20問の使用量台帳の合計は576,440トークン(リース期限切れで結果不明となった1件の配分上限計上分を含む)でした。有効な判定が出た20回では誤受理・誤棄却とも0件でしたが、初回に有効結果が出なかった4回を除いて「初回100%」とは扱いません。
読み取れる範囲
- 初期30問で初回の作成に正解したのは27/30問。3問はいずれも誤答を誘う問題で、再試行後に合格しました。
- 入力不足を示す10問は、初回ですべて正しく「判定できない」と回答しました。
- 誤答検出20問では、意図的に規則違反を入れた15候補の誤受理は0件、正答5候補の誤棄却も0件でした(初回は16/20完了、4/20が有効出力なしで再試行後に完了)。
- 20問の誤答候補はあらかじめ規則違反を埋め込んだものであり、実際のモデルが作る誤答の分布そのものではありません。
- 2台・各1モデル・30問+20問の結果であり、モデル全般の順位や、指示と入力から再計算できない他の仕事での正確さを示すものではありません。
条件と記録
実行はMac Studio 1(M5 Max・36GB、qwen3.8:27b)とMac Studio 2(M5 Ultra・96GB、qwen3.6:35b-a3b)のローカルモデルで行いました。コンテキスト長は65,536。外部AIは使っていません。初期30問は作成回答をサーバーが期待するJSONと完全一致で検査し、合格した回答だけをレビューへ回しました。誤答検出20問は用意した候補(誤答15・正答5)を直接レビューさせました。
工程記録は2026年10月29日(初期30問は08:11 JST、誤答検出20問は12:11 JST)に取得したD1 workflow記録に基づきます。結果の集計と注意点は運営のしくみからも確認できます。