Qwen3.5-9B
4bit / Q4_K_M
- 起步記憶體參考
- 16 GB
逐項嘗試短任務的參考
9B 的 4bit 權重理論約 4.5GB。以 16GB 為短文字起步參考。
摘要 PDF 和文件、從本機資料尋找依據,並比較錄音轉錄和產生會議紀錄的流程。
4bit / Q4_K_M
逐項嘗試短任務的參考
9B 的 4bit 權重理論約 4.5GB。以 16GB 為短文字起步參考。
概括短文件、擷取欄位、整理會議決定,先提供一份轉為文字的資料。
PDF 解析並非自動且準確;掃描件需要 OCR,跨文件問答需要檢索。要求提供出處並核對數字與名稱。
記憶體數字是包含系統與應用程式餘量的編輯估計,並非最低執行保證。文字模型按 4bit、4K–8K 輸入 token、單模型使用估算。長文件、圖片輸入與並行應用程式會增加需求。A3B 不表示整個模型僅需 3GB。
面向 Apple Silicon Mac,需要相容的文字、Whisper、圖像或影片應用程式。記憶體容量不能單獨決定速度,先在現有 Mac 上嘗試短輸入。
短輸入閱讀與資訊查找受到肯定。
連續多步操作可能累積錯誤,應分別檢查文件理解與後續自動操作。
這是公開討論的定性摘要,並非代表全體使用者的調查。包含 PC 與雲端環境,不能據此推斷 Mac 速度或記憶體需求。不轉載個人資料或個別經歷。
2026-11-17,在 Mac Studio(M5 Ultra・96GB)上讓 qwen3.8:27b 回答關於一份會議記錄的 5 個問題。對於記錄中尚未決定的廣告預算,模型正確地沒有給出答案,5 題全部正確,耗時約 14 秒。目前只測了一份簡短的會議記錄,長文件、直接讀取 PDF、與其他模型的比較以及記憶體用量尚未測量。
Qwen3.5 9B · gpt-oss 20B · Gemma 4 26B · Qwen3.8 27B · Qwen3-Embedding 0.6B · Whisper
用相同資料檢查重點遺漏、引文準確性、無答案時是否暫緩判斷及耗時。錄音測試也記錄決議事項和負責人的錯誤。
以一般文字搜尋為基準,分別評估檢索、回答和說話者分離。候選結果尚待實測。
2026-11-07,在 Mac Studio 2 號機(M5 Ultra,96GB)上對 Qwen3.6 35B-A3B(digest a7eb95c53bcf96b4bdd008d0fab4a5dac88047d9c1a7a9ab88ed453423fbd87c)執行一次。固定的 5 個資料問題中答對 1 個(accuracy 0.2)。只有 q1 回傳了可讀取的 JSON;q2 至 q5 在 512 個 token 的輸出上限處被截斷,無法作為 JSON 讀取。推論耗時 13.79 秒;未測量峰值記憶體。條件:temperature 0、seed 42、num_ctx 4096、num_predict 512。輸入 SHA-256:dfef80964941c6213f43d5d23dab07e94a21df7c2cedefeb1e095b901793547f。執行ID:cloud-97312596-b9ec-4969-a8f0-4cd8f5437865。尚未以相同條件重跑、比較更高的輸出上限,也未測量峰值記憶體及其他模型或語言。下一步,在固定條件下區分輸出上限造成的截斷與回答的準確性。
Run: 20261108T194037-mac-llm-bench-f7f9 · Input SHA-256: dfef80964941c6213f43d5d23dab07e94a21df7c2cedefeb1e095b901793547f
Mac Studio 2 號機(96GB);Qwen3.6 35B-A3B(digest a7eb95c53bcf96b4bdd008d0fab4a5dac88047d9c1a7a9ab88ed453423fbd87c);temperature 0、seed 42、num_ctx 4096、num_predict 1024。輸入 SHA-256:dfef80964941c6213f43d5d23dab07e94a21df7c2cedefeb1e095b901793547f。fixture_commit 56209d577d033071f9d9773ee6fb1cfb1d0b7960。
Queue 20261108T194037-mac-llm-bench-f7f9。獨立評分為 2/5(accuracy 0.4),未通過。q1、q2 回傳了可讀的正確 JSON;q3 至 q5 為 format_error=invalid_json(done_reason=length,eval_count=1024)。適配器計時 21.861848 秒。峰值記憶體因未計裝為 null。這不是通過結果,也不能作為整個用途的發布依據。
第 1 輪(2026-11-07、相同模型與輸入、num_predict 512、執行 ID cloud-97312596-b9ec-4969-a8f0-4cd8f5437865、獨立評分 1/5)作為另一次試驗予以保留。
即使將 num_predict 提到 1024,q3 至 q5 仍因 length 被截斷,因此下一輪應在區分思考 token 與輸出 JSON 預算的固定條件下測量。峰值記憶體及其他模型或語言仍未測量。
Run: cloud-ff2bcee4-d23d-4c2a-9014-b3a92f239092 · Input SHA-256: dfef80964941c6213f43d5d23dab07e94a21df7c2cedefeb1e095b901793547f · fixture_commit: a3853f7394f07873040633633094823eccf27627
Mac Studio 1 · qwen3.8:27b · Ollama 0.34.3 · digest aaee06c39dcf2437cde036998d960e1fc1494b8191be7cc9657d01e509097813 · temperature 0, seed 42, num_ctx 4096, num_predict 1024
2026-11-14,對固定案例 documents-qa-001 實測一次。適配器計時 7.940749 秒。5/5 個 response 欄位均為空字串,format_error=invalid_json、done_reason=stop。獨立評分為 0/5(accuracy 0.0、passed=false),未通過。峰值記憶體因適配器未配備計量功能而為 null(未測)。沒有透過重測或人工修改將結果改為成功。這不計入 Studio 2 的實測。
第 1 輪(2026-11-07,num_predict 512,1/5)與第 2 輪(2026-11-08,num_predict 1024,2/5)作為 Mac Studio 2 上 Qwen3.6 35B-A3B 的獨立試驗保留。輸入 SHA-256 相同,但機器和模型不同,不能據此證明速度改善。先前章節中的未測項目與後續步驟描述的是當時狀態。用途狀態維持 held,不視為通過結果。
response 為空的原因尚未確認。下一步調查思考輸出與回答 JSON 的區分,並設計固定條件的比較。峰值記憶體測量和多語言比較尚未進行。
Run: 20261117T030017-honbu-local-first-5957 · Mini-queue: 20261117T030017-mac-llm-bench-1dd7 · Input SHA-256: dfef80964941c6213f43d5d23dab07e94a21df7c2cedefeb1e095b901793547f
Mac Studio 2 · qwen3.8:27b · Ollama 0.40.16 · digest aaee06c39dcf2437cde036998d960e1fc1494b8191be7cc9657d01e509097813 · temperature 0, seed 42, num_ctx 4096, num_predict 1024
2026-11-17,在 Mac Studio 2 上對固定案例 documents-qa-001 實測一次。執行 ID:20261117T030017-honbu-local-first-5957;mini-queue ID:20261117T030017-mac-llm-bench-1dd7。使用 qwen3.8:27b(Ollama 0.40.16,digest aaee06c39dcf2437cde036998d960e1fc1494b8191be7cc9657d01e509097813),temperature 0、seed 42、num_ctx 4096、num_predict 1024。5 個問題皆有回答,獨立評分通過 5/5(accuracy 1.0、passed=true)。耗時 14.0 秒(適配器計時 12.970658 秒),無人工修改。峰值記憶體因未配備計量功能而未測(null)。這只是一個案例,不代表整個用途通過,也不代表其他裝置或語言的結果。
用途狀態維持暫緩(held)。下一步在另一項文件任務中按固定條件檢查依據比對與無法回答時的保留,並測量峰值記憶體。其他模型和語言尚未測試。
Run: 20261117T065546-mac-llm-bench-ec93 · Mini-queue: 20261117T065546-mac-llm-bench-ec93 · Input SHA-256: 5b79b558aa5b13fd69c7b52a34d7f4604885d66a8f5e72943ebfd433ce753835
Mac Studio 2 · qwen3.8:27b · Ollama 0.40.16 · digest aaee06c39dcf2437cde036998d960e1fc1494b8191be7cc9657d01e509097813 · temperature 0, seed 42, num_ctx 4096, num_predict 1024
2026-11-17,在 Mac Studio 2 上對固定案例 documents-minutes-001(會議記錄)實測一次。執行 ID:20261117T065546-mac-llm-bench-ec93;mini-queue ID:20261117T065546-mac-llm-bench-ec93。使用 qwen3.8:27b(Ollama 0.40.16,digest aaee06c39dcf2437cde036998d960e1fc1494b8191be7cc9657d01e509097813),temperature 0、seed 42、num_ctx 4096、num_predict 1024。5 個問題皆有回答,未決的廣告預算(q4)正確保留不答(answerable: false,空回答)。獨立評分通過 5/5(accuracy 1.0、passed=true)。耗時 14.3 秒(適配器計時 12.995193 秒),無人工修改。峰值記憶體因未配備計量功能而未測(null)。這只是一個案例,不代表整個用途效能合格。
用途狀態維持暫緩(held)。下一步需要長文或直接從 PDF 擷取、多模型比較以及峰值記憶體的計量與實測。多語言及其他裝置尚未測試。