Qwen3.5-9B
4bit / Q4_K_M
- 起步内存参考
- 16 GB
逐项尝试短任务的参考
9B 的 4bit 权重理论约 4.5GB。以 16GB 为短文本起步参考。
总结 PDF 和文档、从本地资料查找依据,并比较录音转写和生成会议纪要的流程。
4bit / Q4_K_M
逐项尝试短任务的参考
9B 的 4bit 权重理论约 4.5GB。以 16GB 为短文本起步参考。
概括短文档、提取字段、整理会议决定,先提供一份转为文本的资料。
PDF 解析并非自动且准确;扫描件需要 OCR,跨文档问答需要检索。要求提供出处并核对数字与名称。
内存数字是包含系统和应用余量的编辑估计,并非最低运行保证。文本模型按 4bit、4K–8K 输入 token、单模型使用估算。长文档、图片输入与并行应用会增加需求。A3B 不表示整个模型仅需 3GB。
面向 Apple Silicon Mac,需要兼容的文本、Whisper、图像或视频应用。内存容量不能单独决定速度,先在现有 Mac 上尝试短输入。
短输入阅读与信息查找受到肯定。
连续多步操作可能累积错误,应分别检查文档理解和后续自动操作。
这是公开讨论的定性摘要,并非代表全体用户的调查。包含 PC 与云端环境,不能据此推断 Mac 速度或内存需求。不转载个人资料或个别经历。
2026-11-17,在 Mac Studio(M5 Ultra・96GB)上让 qwen3.8:27b 回答关于一份会议纪要的 5 个问题。对于纪要中尚未决定的广告预算,模型正确地没有给出答案,5 题全部正确,耗时约 14 秒。目前只测了一份简短的纪要,长文档、直接读取 PDF、与其他模型的比较以及内存占用尚未测量。
Qwen3.5 9B · gpt-oss 20B · Gemma 4 26B · Qwen3.8 27B · Qwen3-Embedding 0.6B · Whisper
用相同资料检查要点遗漏、引文准确性、无答案时是否保留判断以及耗时。录音测试也记录决定事项和负责人的错误。
以普通文字搜索为基准,分别评估检索、回答和说话人分离。候选结果尚待实测。
2026-11-07,在 Mac Studio 2 号机(M5 Ultra,96GB)上对 Qwen3.6 35B-A3B(digest a7eb95c53bcf96b4bdd008d0fab4a5dac88047d9c1a7a9ab88ed453423fbd87c)运行了一次。固定的 5 个资料问题中答对 1 个(accuracy 0.2)。只有 q1 返回了可读取的 JSON;q2 至 q5 在 512 个 token 的输出上限处被截断,无法作为 JSON 读取。推理用时 13.79 秒;未测量峰值内存。条件:temperature 0、seed 42、num_ctx 4096、num_predict 512。输入 SHA-256:dfef80964941c6213f43d5d23dab07e94a21df7c2cedefeb1e095b901793547f。运行ID:cloud-97312596-b9ec-4969-a8f0-4cd8f5437865。尚未按相同条件重跑、比较更高的输出上限,也未测量峰值内存及其他模型或语言。下一步,在固定条件下区分输出上限造成的截断与回答的准确性。
Run: 20261108T194037-mac-llm-bench-f7f9 · Input SHA-256: dfef80964941c6213f43d5d23dab07e94a21df7c2cedefeb1e095b901793547f
Mac Studio 2 号机(96GB);Qwen3.6 35B-A3B(digest a7eb95c53bcf96b4bdd008d0fab4a5dac88047d9c1a7a9ab88ed453423fbd87c);temperature 0、seed 42、num_ctx 4096、num_predict 1024。输入 SHA-256:dfef80964941c6213f43d5d23dab07e94a21df7c2cedefeb1e095b901793547f。fixture_commit 56209d577d033071f9d9773ee6fb1cfb1d0b7960。
Queue 20261108T194037-mac-llm-bench-f7f9。独立评分为 2/5(accuracy 0.4),未通过。q1、q2 返回了可读的正确 JSON;q3 至 q5 为 format_error=invalid_json(done_reason=length,eval_count=1024)。适配器计时 21.861848 秒。峰值内存因未计装为 null。这不是通过结果,也不能作为整个用途的发布依据。
第 1 轮(2026-11-07、相同模型与输入、num_predict 512、运行 ID cloud-97312596-b9ec-4969-a8f0-4cd8f5437865、独立评分 1/5)作为另一次试验予以保留。
即使将 num_predict 提到 1024,q3 至 q5 仍因 length 被截断,因此下一轮应在区分思考 token 与输出 JSON 预算的固定条件下测量。峰值内存及其他模型或语言仍未测量。
Run: cloud-ff2bcee4-d23d-4c2a-9014-b3a92f239092 · Input SHA-256: dfef80964941c6213f43d5d23dab07e94a21df7c2cedefeb1e095b901793547f · fixture_commit: a3853f7394f07873040633633094823eccf27627
Mac Studio 1 · qwen3.8:27b · Ollama 0.34.3 · digest aaee06c39dcf2437cde036998d960e1fc1494b8191be7cc9657d01e509097813 · temperature 0, seed 42, num_ctx 4096, num_predict 1024
2026-11-14,对固定案例 documents-qa-001 实测一次。适配器计时 7.940749 秒。5/5 个 response 字段均为空字符串,format_error=invalid_json、done_reason=stop。独立评分为 0/5(accuracy 0.0、passed=false),未通过。峰值内存因适配器未配备计量功能而为 null(未测)。没有通过重测或人工修改将结果改为成功。这不计入 Studio 2 的实测。
第 1 轮(2026-11-07,num_predict 512,1/5)与第 2 轮(2026-11-08,num_predict 1024,2/5)作为 Mac Studio 2 上 Qwen3.6 35B-A3B 的独立试验保留。输入 SHA-256 相同,但机器和模型不同,不能据此证明速度改善。此前章节中的未测项目与后续步骤描述的是当时状态。用途状态维持 held,不视为通过结果。
response 为空的原因尚未确认。下一步调查思考输出与回答 JSON 的区分,并设计固定条件的比较。峰值内存测量和多语言比较尚未进行。
Run: 20261117T030017-honbu-local-first-5957 · Mini-queue: 20261117T030017-mac-llm-bench-1dd7 · Input SHA-256: dfef80964941c6213f43d5d23dab07e94a21df7c2cedefeb1e095b901793547f
Mac Studio 2 · qwen3.8:27b · Ollama 0.40.16 · digest aaee06c39dcf2437cde036998d960e1fc1494b8191be7cc9657d01e509097813 · temperature 0, seed 42, num_ctx 4096, num_predict 1024
2026-11-17,在 Mac Studio 2 上对固定案例 documents-qa-001 实测一次。运行 ID:20261117T030017-honbu-local-first-5957;mini-queue ID:20261117T030017-mac-llm-bench-1dd7。使用 qwen3.8:27b(Ollama 0.40.16,digest aaee06c39dcf2437cde036998d960e1fc1494b8191be7cc9657d01e509097813),temperature 0、seed 42、num_ctx 4096、num_predict 1024。5 个问题均有回答,独立评分通过 5/5(accuracy 1.0、passed=true)。耗时 14.0 秒(适配器计时 12.970658 秒),无人工修改。峰值内存因未配备计量功能而未测(null)。这只是一个案例,不代表整个用途通过,也不代表其他设备或语言的结果。
用途状态维持暂缓(held)。下一步在另一项文档任务中按固定条件检查依据匹配与无法回答时的保留,并测量峰值内存。其他模型和语言尚未测试。
Run: 20261117T065546-mac-llm-bench-ec93 · Mini-queue: 20261117T065546-mac-llm-bench-ec93 · Input SHA-256: 5b79b558aa5b13fd69c7b52a34d7f4604885d66a8f5e72943ebfd433ce753835
Mac Studio 2 · qwen3.8:27b · Ollama 0.40.16 · digest aaee06c39dcf2437cde036998d960e1fc1494b8191be7cc9657d01e509097813 · temperature 0, seed 42, num_ctx 4096, num_predict 1024
2026-11-17,在 Mac Studio 2 上对固定案例 documents-minutes-001(会议纪要)实测一次。运行 ID:20261117T065546-mac-llm-bench-ec93;mini-queue ID:20261117T065546-mac-llm-bench-ec93。使用 qwen3.8:27b(Ollama 0.40.16,digest aaee06c39dcf2437cde036998d960e1fc1494b8191be7cc9657d01e509097813),temperature 0、seed 42、num_ctx 4096、num_predict 1024。5 个问题均有回答,未决的广告预算(q4)正确保留不答(answerable: false,空回答)。独立评分通过 5/5(accuracy 1.0、passed=true)。耗时 14.3 秒(适配器计时 12.995193 秒),无人工修改。峰值内存因未配备计量功能而未测(null)。这只是一个案例,不代表整个用途性能合格。
用途状态维持暂缓(held)。下一步需要长文或直接从 PDF 提取、多模型比较以及峰值内存的计量与实测。多语言及其他设备尚未测试。