Token不是一个新观点，大模子落地第一天起，它便与神经汇集共生，但直到OpenClaw（俗称龙虾）正在用户群大范畴扩散，种种Agent运用动手把Token带入了民众视野。
记得OpenAI宣告GPT-5.4的时间，有效户反应测试一句你好就消磨掉了80美元的Token，当时不少人都说这个运用量太夸诞，但跟着小龙虾大范畴正在用户群扩散，一个使命烧完切切级Token成为常态。
与之相对的是，英伟达CEO黄仁勋正在GTC2026大会上以及之后的良众形势，都正在夸大工程师要豪爽的运用Token，乃至将Token纳入到薪酬激劝机制。
一次对话合键，黄仁勋说：倘若年薪50万美元的工程师，连25万美元的Token都没用掉，我会非常焦炙。
题目是，猖狂的烧Token必定能管理题目吗，有众少Token是有用的，什么样的进入产出比是合理的？
连合方才外媒的音信，有OpenAI次第员一周烧掉了2100亿Token，相当于33个维基百科，但如此的消磨量最终带来了什么？我发了一个朋侪圈，说如此重度运用能升P10吗，有知己随即评论，能助卖Token的升P10。
黄仁勋将英伟达描摹为Token之王，具有宇宙最进步的Token创制机，但倘若拼死饱吹这件事，乃至暗意不必Token就会落伍，那么可能说：一方面，黄仁勋思彻底改造AI时间企业效能观察的逻辑，另一方面，他也间接创制出了Token慌张。
报名「黑马·AI星球Agent实战营」，邦内⾸个基于“全链途生意拆解+Agent搭筑实战”的企业级Agent实战营；3天闭合+90天陪跑，让你带走：
不久前，我求教了周鸿祎Token太贵这个题目，他说：大师感觉Token贵或许存正在些曲解，由于大模子后端是可能灵巧筑设的。
正在他的意会中，用户可能自立挑选模子掌握本钱。寻常谈天对话的本钱本来很低。真正消磨Token的是繁复使命，譬喻助你天生视频、创作短剧或写小说这类移用场景。
我记得猎豹转移CEO傅盛正在一条视频中说，我方通过极少运用手段把最初日均几百美元的Token用度，优化到目前日均10众美元，30天便是2100元，年费是25200元。
比照目前中邦互联网上的商用to C类软件，譬喻剪映，高端会员年费也惟有600元独揽，文娱相干的会员用度大致正在300元独揽，基本找不到一款年费突出25000元的消费级软件。
绝大局部人一天10美金，照旧不会承受，这里会过滤掉大片的非付用度户。我对傅盛说，他没有狡赖我的判定。
举个例子，倘若用户对生图有需求，就必要特意的生图模子API；倘若要监控动态，也必要接入付费的探求API，这些潜正在的用度会逐渐的劝退绝大大批用户。固然或许有极少开源变通的形式降本，但开源项目就间接秘密着和平危害。
3月13日，当时腾讯科技虾聊系列直播的第一期，玄武尝试室的嘉宾Lambda分享过一个数据——他我方均匀每个月养虾的用度正在千元以上。
不管是参照消费级器械年费，仍是行业养虾户的反应，基于Agent的Token消磨说一句Token太贵了，是站得住脚的。
Token粗略意会便是大措辞模子管制讯息的根基单元——用户输入提示词，模子输出谜底，每一个字、每一个标点，都管帐入Token的消磨量，素质上仍是算力本钱。
过去大师预备算力总具有本钱，目标有良众，网罗量度能效的Flops/W，核算均值的本钱/Flops等等，本年的Token经济学中，Token/W逐渐成为共鸣。
但不管有众低贱，不管是哪一种预备单元，它都是进入本钱量化，涉及到研发本钱、硬件本钱，陈设本钱，能耗本钱，运营本钱等。换句话说，降本也都是环绕上述合键张开。
以HBM内存为例，它是维持大模子熬炼和推理的要害器件，同时，推理数据量的暴涨也激励出了存储需求的同步上涨。2026年第一季度，DRAM的代价环比上涨突出50%，NAND代价环比最飞腾幅到达150%。
黄仁勋、苏姿丰都一经喊出了HBM有众少要众少，三星、美光这些存储原厂，一经对外披露头部客户的战术长约一经签到了5年。
《内存暴涨100天，千元机被迫逝世》一文提到过，消费级墟市，千元机库存或许都要停产了，但实质上受这个题目的影响，云厂商目前也处于涨价的煎熬之中。目前行业最乐观的估计是2028年存储代价回落，绝望一点要到2030年。
模子技能的提拔也可能视为减价的另一个杠杆。现正在极少8B的小模子，技能越来越接近全量大模子。一位学术界探究员说。
正在这方面，面壁智能协同清华团队正在《Nature》上提出了Densing Law的观点，夸大大模子的技能密度随时期指数增进，约每3.5个月翻一倍，一致机能所需参数目每3.5个月减半。
一位邦产AI芯片从业者也夸大模子技能好、范畴小，进而能促使本钱低重。你看邦内开源大模子token代价，根基都跟模子范畴正相干。
众位邦产算力从业者流露，提拔MFU也会带来本钱压缩的空间，其它也还网罗架构、显存等众方面的推理优化。
MFU跟模子自身相干不太大，重要是算子和更动战略相合。另一位邦产存算一体芯片从业者说，目前主流大模子的推理MFU均值正在30%独揽，优化后可突出50%，估摸能省出50%的本钱。
也便是说，行业并没有榨干GPU的机能——花了100%的GPU钱，现正在只用了不到三分之一的算力。
可是，MFU提拔固然可能带来单Token本钱降低，但会不会传导到C端，取决于大模子供给方的贸易考量，倘若用来打代价战，这毫无疑义是一个有用的杠杆。
2024年，邦内厂商就已经发作过一轮激烈的代价战。当时恰逢DeepSeek-V2上线，每百万Token输入1元、输出2元，彼物价格相当于GPT-4-Turbo的百分之一。
DeepSeek当时的减价要害就正在于推理优化——MoE希罕架构大幅低重了预备量，MLA众头潜正在谨慎力把KV缓存压缩90%以上。
DeepSeek开启这轮减价之后，随即阿里、字节、等等先后下场张开代价战博弈，一度闪现了Token免费的形象。
正在推理效能提拔的情状下，通过补贴，用户有了极端显著的增进，一位参加过上一轮代价战的大模子公司内部人士说，粗略花了几个亿吧。
前述参加代价战的大模子内部人士以为，正在模子的特定技能成熟，有了安靖用户原因的情状下，大师未必有动力再下场去打代价战。
Token消磨不像2024年那种范畴了，这个情状下，为了虾打代价战，存量用户的ARR收入也会被迫失血，前述邦产AI芯片从业者说，没需要，代价战带来的增量还不确定，先把存量自砍了，这账欠好算。
按照Artificial Analysis的跟踪数据，邦产模子的API单价一经足够低贱了，只是这个低贱水准对待Agent的巨量消磨来说，还远远不敷。
如前面所说，受内存和存储的硬件本钱打击，邦内云厂商现正在面临的是涨价的困难，短期不太有减价的或许性。
现正在是前两年代价战的络续，邦内厂商的代价比北美有显著的上风。只是大师了解抢用户是个经久战，不是一两次代价战能搞定的。前述邦产存算一体芯片从业者增加道。
到目前为止，一经有不少用户基于Mac Mini为小龙虾筑设当地模子，只可是这种管理计划，正在短时期内会继续地推高Token运用本钱，同时当地陈设自身就存正在门槛，且开源模子的技能未必可能符适用户的需求。
针对那些初学级用户，也有厂商试验推出EdgeClaw硬件，而且正在硬件生意之上，套上一层和平的故事，这本来是一个值得试验的对象，只是正在内存涨价大境遇下，显得有些生不逢时。
与此同时，极少品牌也正在电商平台推出准体例产物（无内存、存储），最低代价正在2000元以内，它们固然没有和平故事，却是Edgeclaw这种创业型项目第一个要超出的难合。
对小龙虾端侧AI硬件来说，最大的离间仍是Mac Mini，苹果的供应链话语权和毛利率可能维持Mac Mini超高性价比的订价，创业团队正在这里很难讲故事。
2月份，Taalas团队推出了一款全新的芯片HC1，该芯片基于TSMC N6制程，die size 815mm²，晶体管密度仅53B，单芯片可运转Llama 3.1 8B模子，最中央的是单用户TPS（Token/s）输出16960/s，数据堪称爆外，要害就正在于HC1的安排。
Taalas团队正在这款芯片上，用Mask ROM将Llama 3.1 8B模子权重硬编码固化正在硅片上，芯片金属层连线相当于神经元连结，相当于把模子焊正在芯片上，同时完成预备与存储物理协调，彻底息灭HBM/DRAM数据搬运，突破了内存墙节制。
固然TPS机能特出，它的短板也同样来自于模子焊正在芯片上这个特征，这意味着只可跑固定版本的固定模子，权重不行改、组织不行动，思换模子就要从新流片，你也可能意会为专芯专用。
一起的斟酌都基于Token运用本钱——贵的不是单价，而是重度使命对Token运用量的倍数放大。
我已经试验过用小龙虾来天生指守时期戳的gif，正在和一位同行相易的历程中，他说：你这内里的gif图，咱们同事做，半分钟做一张，手工。
要改造这一点，要么具有更低贱的Token订价，要么Token消磨最小化，这依赖模子层面的优化，也取决于推理硬件层面的立异。
但无论何如，正在Token运用的总用度打不下来，且进入的有用产出不显着的情状下，猖狂安利Token消磨，乃至夸大与绩效挂钩，说是创制Token慌张，创制AI慌张也不为过。
再往前看，老黄还倡议科技行业领袖慎重发声，避免激励民众对人工智能手艺的非理性焦炙。这就比如跟全行业说：别打压人工智能创制焦炙了，你们都要把Token烧起来。
我记得2017年的时间，有一篇刷屏著作叫《群众惦念周鸿祎》，现正在群众该当很惦念Token代价战，惦念DeepSeek。
黑马·AI星球Agent实战营，系邦内⾸个基于“全链途生意拆解+Agent搭筑实战”的企业级Agent实战营，3天闭合+90天陪跑，让你带走：