Qwen3.5-9B
4bit / Q4_K_M
- 起步内存参考
- 16 GB
逐项尝试短任务的参考
9B 的 4bit 权重理论约 4.5GB。以 16GB 为短文本起步参考。
判断是否符合发布条件、咨询该转交哪里,以及资料是否与问题有关。
4bit / Q4_K_M
逐项尝试短任务的参考
9B 的 4bit 权重理论约 4.5GB。以 16GB 为短文本起步参考。
分类消息或标题、将文本提取为 JSON。预先定义类别和结构,小批量处理。
允许输出“待确认”;同时检查 JSON 语法和字段值,可解析不代表正确。
内存数字是包含系统和应用余量的编辑估计,并非最低运行保证。文本模型按 4bit、4K–8K 输入 token、单模型使用估算。长文档、图片输入与并行应用会增加需求。A3B 不表示整个模型仅需 3GB。
面向 Apple Silicon Mac,需要兼容的文本、Whisper、图像或视频应用。内存容量不能单独决定速度,先在现有 Mac 上尝试短输入。
明确简单的指令与信息提取获得肯定。
能准确描述内容,不代表后续文件操作可靠。
这是公开讨论的定性摘要,并非代表全体用户的调查。包含 PC 与云端环境,不能据此推断 Mac 速度或内存需求。不转载个人资料或个别经历。
2026-11-17,在 Mac Studio(M5 Ultra・96GB)上让 Qwen3.6 35B-A3B 对 8 条咨询进行分流(关闭了思考过程输出)。8 条中 7 条正确,但漏掉了 1 条应转交人工确认的咨询,因此未通过。耗时约 3 秒。此前的尝试也未通过。下一步是改进这类判断,并与其他模型比较。内存占用尚未测量。
Laya · Laya Multilingual · Laya-MLX · Qwen3.5 4B · Gemma 4
用相同的已标注数据测量误判、漏判、暂缓率、速度和内存,并检查阈值如何影响结果。
Laya 系列与小型语言模型是候选项。仍需验证在 Mac 上的运行、阈值和各语言的准确率。
2026-11-07,MiniCPM5-2B(Q4_K_M,digest e680c6c9f9033490cb68df7c1145f733a3a1b377b387af0937251a70d3c71a14)在Mac mini上执行了一次。固定样例中8条答对4条(accuracy 0.5);i001、i004、i005和i006不一致。推理用时3.4秒(适配器计时2.729335秒);峰值内存未测量。条件:temperature 0、seed 42、num_ctx 4096、num_predict 512。输入SHA-256:d5839ab5a81f9e0029e43db8c2939a6dd13609de6f1b94f7219e6197a54f01a3。运行ID:20261107T111929-mac-llm-bench-dbaa。最初记录因评分器输入路径错误而以代码1退出。PR #53修复后,我们没有重新推理,只对相同的已保存回答重新评分;6项完整性检查均通过,并确认4/8未通过。修复运行流程不代表分类质量通过;没有按相同条件重跑。下一步分析这4条错误分类,再用固定条件单独测量改进方案。峰值内存、不同阈值下的暂缓率,以及其他模型或语言的比较仍未测量。