Qwen3.5-9B
4bit / Q4_K_M
- 最低メモリの目安
- 16 GB
短い作業を1つずつ試す場合の目安
9Bの4bit重みは理論上約4.5GB。16GBで短い文章から試す目安です。
掲載条件に合うか、問い合わせをどこへ回すか、資料が質問に関係するかを判定します。
4bit / Q4_K_M
短い作業を1つずつ試す場合の目安
9Bの4bit重みは理論上約4.5GB。16GBで短い文章から試す目安です。
問い合わせや記事見出しの分類、文章からJSONへの項目抽出。分類名と出力形式を決め、少量ずつ処理します。
判断できない項目を無理に分類させず「要確認」にします。JSONが読めることと、値が正しいことは別なので両方を検査します。
メモリは最低動作保証ではなく、OS・アプリの余裕を含めた編集上の目安です。文章モデルは4bit、入力4K〜8Kトークン、1モデルずつの利用を想定。長い資料・画像入力・複数アプリの同時利用では増えます。A3Bは動く部分の大きさで、モデル全体が3GBに収まる意味ではありません。
Apple SiliconのMacを想定。文章は対応するLM Studio等、音声はWhisper対応アプリ、画像・動画は各モデルに対応したアプリが必要です。RAM容量だけでは速度は決まりません。まず手持ちのMacで短い入力を試してください。
単純で明確な指示への追従や情報抽出に有用という評価があります。
内容の説明ができても、分類後のファイル操作まで正確とは限らないという報告があります。
公開された議論を質的に要約しています。全利用者の総意や満足度調査ではありません。PCやクラウドでの報告も含むため、Macでの速度や必要メモリの根拠にはしていません。個人名・体験談の転載は行っていません。
2026-11-17、Mac Studio(M5 Ultra・96GB)で Qwen3.6 35B-A3B に、8件の問い合わせの振り分けを試しました(考える過程の出力を止めた設定)。8件中7件は正解でしたが、人の確認に回すべき1件を見逃したため不合格です。所要時間は約3秒でした。それまでの試行も合格していません。次は見逃した種類の判断の改善と、ほかのモデルとの比較です。使ったメモリの量はまだ測っていません。
Laya · Laya Multilingual · Laya-MLX · Qwen3.5 4B · Gemma 4
同じ正解付きデータで誤判定、見落とし、保留率、速度とメモリを測ります。しきい値の違いで結果がどう変わるかも確認します。
Laya系と小型LLMを比較候補にしています。Macでの実行、しきい値、言語ごとの精度は確認予定です。
2026-11-07にMac miniでMiniCPM5-2B(Q4_K_M、digest e680c6c9f9033490cb68df7c1145f733a3a1b377b387af0937251a70d3c71a14)を1回実行。固定入力8件中4件正解(accuracy 0.5)、i001・i004・i005・i006が不一致。推論3.4秒(アダプター計測2.729335秒)、ピークメモリ未測定。temperature 0、seed 42、num_ctx 4096、num_predict 512。入力SHA-256 d5839ab5a81f9e0029e43db8c2939a6dd13609de6f1b94f7219e6197a54f01a3、実行ID 20261107T111929-mac-llm-bench-dbaa。最初の記録は採点器の入力場所の不整合で終了コード1。PR #53の修正後、同じ保存応答を推論なしで再採点し、6つの整合性検査通過と4/8不合格を確認。仕組みの修正は分類品質の合格を意味しない。同一条件の再推論はしていない。次は誤分類4件の失敗要因を調べ、改善案を固定条件で別途測る。ピークメモリ、しきい値ごとの保留率、他モデル・他言語は未測定。