判斷與分類

判斷是否符合發布條件、諮詢應轉交何處,以及資料是否與問題相關。

選擇參考

依用途推薦模型

優先嘗試

Qwen3.5-9B

4bit / Q4_K_M

起步記憶體參考
16 GB

逐項嘗試短任務的參考

9B 的 4bit 權重理論約 4.5GB。以 16GB 為短文字起步參考。

適合嘗試的任務

分類訊息或標題、將文字擷取為 JSON。預先定義類別與結構,小批量處理。

仍需檢查

允許輸出「待確認」;同時檢查 JSON 語法與欄位值,可解析不代表正確。

用法與條件

使用條件 · 估計依據

記憶體數字是包含系統與應用程式餘量的編輯估計,並非最低執行保證。文字模型按 4bit、4K–8K 輸入 token、單模型使用估算。長文件、圖片輸入與並行應用程式會增加需求。A3B 不表示整個模型僅需 3GB。

面向 Apple Silicon Mac,需要相容的文字、Whisper、圖像或影片應用程式。記憶體容量不能單獨決定速度,先在現有 Mac 上嘗試短輸入。

使用者評價概要

受到肯定的方面

明確簡單的指令與資訊擷取獲得肯定。

常見困難

能準確描述內容,不代表後續檔案操作可靠。

這是公開討論的定性摘要,並非代表全體使用者的調查。包含 PC 與雲端環境,不能據此推斷 Mac 速度或記憶體需求。不轉載個人資料或個別經歷。

本站實測與條件

測試候選

暫緩或複查中 已有未通過的實測記錄;尚無通過結果 · 更新日期

2026-11-17,在 Mac Studio(M5 Ultra・96GB)上讓 Qwen3.6 35B-A3B 對 8 則詢問進行分流(關閉了思考過程輸出)。8 則中 7 則正確,但漏掉了 1 則應轉交人工確認的詢問,因此未通過。耗時約 3 秒。先前的嘗試也未通過。下一步是改進這類判斷,並與其他模型比較。記憶體用量尚未測量。

Laya · Laya Multilingual · Laya-MLX · Qwen3.5 4B · Gemma 4

測試任務與評估指標

用相同的已標註資料測量誤判、漏判、暫緩率、速度和記憶體,並檢查閾值如何影響結果。

已知資訊與待確認事項

Laya 系列與小型語言模型是候選項。仍需驗證在 Mac 上的執行、閾值和各語言的準確率。

在你的 Mac 上嘗試前

暫緩或複查中

2026-11-07,MiniCPM5-2B(Q4_K_M,digest e680c6c9f9033490cb68df7c1145f733a3a1b377b387af0937251a70d3c71a14)在Mac mini上執行一次。固定案例中8筆答對4筆(accuracy 0.5);i001、i004、i005和i006不一致。推論用時3.4秒(適配器計時2.729335秒);峰值記憶體未測量。條件:temperature 0、seed 42、num_ctx 4096、num_predict 512。輸入SHA-256:d5839ab5a81f9e0029e43db8c2939a6dd13609de6f1b94f7219e6197a54f01a3。執行ID:20261107T111929-mac-llm-bench-dbaa。最初記錄因評分器輸入路徑錯誤而以代碼1退出。PR #53修復後,我們沒有重新推論,只對相同的已保存回答重新評分;6項完整性檢查均通過,並確認4/8未通過。修復執行流程不代表分類品質通過;沒有按相同條件重跑。下一步分析這4筆錯誤分類,再用固定條件單獨測量改進方案。峰值記憶體、不同閾值下的暫緩率,以及其他模型或語言的比較仍未測量。