手机跑本地大模型:那张流传的对比表,硬错五处

手机跑本地大模型这个话题,最近又火了一轮。流传最广的那篇对比长文我读完了——框架搭得不错,五个框架、三档芯片、四个场景,看着挺像那么回事。

然后我把五个框架的官方 README、后端支持表、后端源码目录全拉下来对了一遍。

五处硬错误,一处重大漏项,所有性能数字零出处。

最要命的那条:它把 MNN 官方评级表里标着 C(不支持)的项目,写成了"算子级异构调度最优解"。那张表就贴在 MNN 仓库 README 的正中间,谁都能看。

我今天不复述那张表。只做一件事:把官方账本摊开,告诉你哪些机型上什么方案是真能用的,哪些是二手文章互相抄出来的幻觉。

本文所有数据来自各项目官方仓库 README、官方后端文档与源码目录,抓取时间 2026-09-17。版本与 star 数全部锁定——推理框架是时间函数,不锁版本的对比都是耍流氓。

Unsloth 还是 AirLLM?一个炼丹,一个硬跑

同一个问题,两种答案:你想在 4G 显存的旧卡上跑 70B,还是想在 24G 卡上把一个开源模型调教成你自己的形状?

前者找 AirLLM,后者找 Unsloth。网上教程常把这两个工具放在一起比,但多数人没搞明白:它们一个管炼丹,一个管硬跑,根本不在同一条赛道上——虽然 2026 年的今天,两家都在偷偷往对方的地盘伸脚。

一句话核心区分:Unsloth = 高效微调(炼丹)优先,推理为辅;AirLLM = 超大模型低显存推理优先,微调为辅。 定位不同,不互斥,还能组合用。

本文所有数据基于 2026-09-09 两仓库官方 README 与文档(unslothai/unsloth 75.9k★、lyogavin/airllm 33.9k★)。推理框架是时间函数,版本不锁死的对比都是耍流氓。

GGUF 量化后缀解密:Q8_0、Q6_K、Q4_K_M 到底怎么选

你在 Hugging Face 上找个模型,一排文件砸下来:Q8_0、Q6_K、Q5_K_M、Q4_K_M、Q4_K_S、Q3_K_M、IQ2_XXS,后缀还有带 .imx 的。

同一个 7B 模型,最小的文件比最大的小一半还多。选大的?显存不够。选小的?怕变傻子。

这篇文章把后缀拆开讲清楚。看完你就能闭着眼睛选。

谁是卧底?涿州代孕案,和那场准时砸下来的热搜

8 月 27 日晚,你本来在等一个答案——"涿州代孕案,内鬼是谁?"

这个问题已经挂了一周。8 月 20 日,打拐、反代孕志愿者上官正义第二次报警举报河北涿州两处地下代孕窝点,结果窝点人员在他报警后 4 分钟集体撤离,主犯王某丹当天下午 5 点飞新加坡。21 日涿州通报:立案,抓了 6 个底层。至于"谁走漏的风声",官方一个字没提。

然后,热搜第一换了。

孙宇晨,币圈人称"孙割",万字长文《我的女友景甜》,起诉追讨三千多万彩礼,曝光豪门恋爱细节、5000 万美元换卵子的代孕协议、叫妈妈、磨指甲、张继科。全网瞬间沸腾,吃瓜群众忘了涿州,开始讨论"孙割被大甜甜算计了没"。

你但凡有点脑子就该问一句:为什么偏偏是这个时候?

一个全民追问执法系统内鬼的关键窗口,一个顶流娱乐瓜准时砸下来,把"代孕"这个词从刑案现场偷回了桃色卧室。这要不是压热度,那什么才算压热度?

FreeToken:让游戏本跑 284B MoE 的本地推理引擎(安装使用 + vLLM/Ollama 对比)

你手里有一张 8GB 显存的笔记本显卡,想跑 DeepSeek-V4-Flash(284B 参数)——正常人告诉你别做梦。Ollama 直接说显存不够,llama.cpp 硬塞进去速度掉到没法用,vLLM 压根是给机房准备的。

FreeToken 换了个思路:不把显存当模型仓库,把它当工作台。完整权重躺在系统内存里,GPU 用到哪个专家就现取哪个。于是 8GB 笔记本能跑 35B MoE,游戏台式机能跑 284B,一张 RTX PRO 6000 能跑 753B 的 GLM-5.2。这不是 PPT,是 2026 年 8 月刚发的论文(arXiv:2608.16157)+ 能装的 PyPI 包(freetoken 0.1.2,Apache-2.0)。

下面先讲它是什么,重点给你安装和使用的完整流程,最后和 vLLM、Ollama 摆在一起对比——结论先放这:三个工具根本不抢同一批用户。