NVIDIA研究人员推出一项全新技术KVTC（KV快取转换编码），颠覆能把大型语言模型（LLM）追踪对话历史的发明内存用量，最高缩减20倍，新技而且不用修改模型本身。术K缩减
这一突破有望解决大型语言模型长对话推理时的存使内存不够用问题，大大降低企业使用AI的用量91游戏黄色网页硬件成本，同时还能把模型首次生成回应的颠覆时间，最高提速8倍。发明
简单来说，新技KVTC技术的术K缩减核心就是压缩大型语言模型背后的KV缓存——它相当于AI模型的“短期记忆”。我们可以把KV缓存理解成学生记笔记：模型处理对话时，存使会把关键信息（也就是用量Key和Value）记下来，下次生成回应时，颠覆不用从头重新计算整段对话，发明响应速度就能大幅提升。新技
但问题是，对话越长，1.7黑料吃瓜网这份“笔记”就越大，甚至会膨胀到几个GB，占用大量GPU内存，反而拖慢模型运行、限制其处理能力。
NVIDIA资深深度学习工程师Adrian Lancucki表示：“大型语言模型进行推论时，性能瓶颈往往不在运算能力，而在GPU内存。学生免费毛片”那些暂时不用的KV缓存，会一直占用宝贵的GPU资源，逼得系统只能把它们转移到CPU内存或硬盘里，这样不仅会增加数据传输的负担，还可能出现新的卡顿问题，这些额外成本最终也会体现在企业的使用费用中。
和现有压缩技术相比，KVTC没有那些明显的橘子大片九一局限，它借鉴了我们熟悉的JPEG图片压缩思路，通过“主成分分析、自适应量化、熵编码”三个简单步骤，就能实现高效压缩。
更方便的是，这项技术不用改动模型的核心设置和代码，属于“非侵入式”设计，Cos禁漫天堂企业拿来就能快速部署。它的核心优势是，能抓住KV缓存“数据高度相关”的特点，在保留关键信息的同时，去掉冗余数据，而且解压时可以分块、逐层进行，不会影响模型实时回应。
多轮测试显示，KVTC的表现远超现有主流方法。在参数量从15亿到700亿的多种模型（包括Llama 3系列、R1-Qwen 2.5等）上，即便将内存压缩20倍，模型准确率也几乎不受影响，损失不到1%，与未压缩时相差无几；而传统压缩方法仅压缩5倍，就会出现明显的准确率下降。
另外，在H100 GPU上处理8000个Token的提示时，不使用KVTC需要3秒才能生成第一个回应，使用后仅需380毫秒，提速整整8倍。
需要注意的是，KVTC更适合长对话、多轮互动场景，比如编程助手、迭代式代理推理等，若对话较短，很难发挥其压缩价值。
目前，NVIDIA正计划将这项技术整合进Dynamo框架的KV块管理器，使其能与vLLM等主流开源推论引擎兼容。
业内人士认为，随着大型语言模型可处理的对话长度不断增加，KVTC这类标准化压缩技术，未来可能会像视频压缩一样普及，助力AI更广泛地落地应用。
埃尔克森：遗憾球队领袖孔卡离队 世俱杯想赢拜仁
埃尔克森：遗憾球队领袖孔卡离队 世俱杯想赢拜仁
字体大小：A A2013-11-13 09:59:51编辑：竹青点击: 次
90win体育讯 北京时间11月13日，埃尔克森在参观亚冠赛事后接受了某媒体的专访，他对球队领袖孔卡的离队感到非常遗憾，同时也希望能够战胜非洲冠军在是世俱杯上迎战拜仁。
亚冠夺冠之后，埃尔克森和孔卡是场上庆祝最为疯狂的两个，给球迷留下了深刻的印象，“我觉得这是巴西球员的属性，我们血液里就充满了激情。我的中国朋友还是有些内向，所以这种快乐就由我这个巴西人来释放出来吧。”埃尔克森很自豪。他甚至在夺冠后的球场上迎接里皮飞奔过来的熊抱，这让他感到很意外，“当时真的很开心，很惊喜，也的确有些惊讶。但这也证明亚冠冠军对于里皮主帅也是意义深远的。我认为这不仅仅代表着一个拥抱，还代表着恒大队所有球员和教练的幸福。”埃尔克森这样理解里皮作出如此疯狂的庆祝动作。
对于孔卡的离开，埃尔克森感到很遗憾，他认为孔卡对中国足球的发展时一个里程碑式的球员，“孔卡是球场上的领袖，只要他拿球，就会发动对球门威胁的进攻。但生活中他有时很安静，当然开心的时候也会像HZ那样去玩耍。”
至于世俱杯，广州恒大成为亚洲冠军之后，只要在首战战胜非洲冠军后就能迎接拜仁。埃尔克森非常期待在世俱杯上与世界上最强的球队交手，“所有人都有与世界最强球队交手的欲望，世俱杯是一个很高的舞台，我当然希望能够与拜仁交手，因为我们代表的是中国足球，我们希望在世俱杯展现我们的能力。”巴西前锋甚至直言他的足球梦想一直在欧洲。
我没打马德鲁加！彭欣力嘴真硬 球迷：你解释一下为何指着纳萨里奥鼻子骂
泰山0-2输掉了齐鲁德比，马德鲁加还疑似被彭欣力打了，克雷桑疑似被用手指了。作为泰山队旧将，青岛西海岸球员彭欣力不应该这样失控，像疯了一样，跟泰山队及昔日对队，能有多大的仇恨？8月24日，彭欣力在社交媒体上发了一篇长文，向泰山球迷解释自己没打马德鲁加，并道歉。
彭欣力发文主要想解释：自己没打人，没竖中指。但很多球迷认为他在狡辩：“视频都拍到了，你嘴是真硬！”中超第24轮，西海岸主场对阵泰山第86分钟，爆发大规模冲突。已经提前被换下场的彭欣力从替补席冲进场内，与泰山外援马德鲁加发生争执，被红牌罚下，马德鲁加两黄变一红。
彭欣力的声明写得很长，核心就是两句话：
一，自己没打马德鲁加。 他说自己是第三个冲到马德鲁加身边的，伸出右手食指指向对方，“因冲刺上来速度太快，惯性导致没刹住车，重心不稳，前倾了一下”，手碰到了马德鲁加的面部，随后马德鲁加倒地。他强调自己“从未掌掴或伸手打过”。
二，自己没对克雷桑比中指。 他说克雷桑过来拉他时，他只是在向老队友“诉苦、抱怨、声讨”，并且承认自己有个坏习惯——“情绪激动时讲话喜欢用手指人”，家人多次纠正都没改掉。
他还特意解释了为什么画面看起来像是打人——“摄像机拍摄机位角度是从背后往前拍摄，看起来很容易理解成我用手打了马德鲁加面部”。他还表示“我在情绪激动时，讲话喜欢用手指人这个坏习惯一直有，家人也曾多次纠正我，要求我改掉这个毛病，我真的有在注意，不过现在看来，抱歉好像还是没改掉”。
彭欣力向泰山球迷道歉，承认自己“没能控制好情绪”，“起了相当负面的作用”。但不少包括泰山球迷和异地球迷并不买账，评论区直接炸了！有球迷表示：“虽然我不是泰山球迷，但是我看不下去了，彭欣力嘴真硬。”还有河南球迷翻出旧账：“你解释一下为什么手指纳萨里奥的鼻子骂脏话？”
有球迷调侃：“人家不是说了吗，情绪激动的时候喜欢用手指指人，问的就是情绪激动。”“这一脸的流氓相，彭欣力还没真是说错，他就是用食指指人。”“果然把所有的责任都推到了马德鲁加。”“他真是个人才，退役以后干主播自媒体，能标新立异，有这么好的文笔应变能力，绝对有流量。”
彭欣力这篇声明表面上是道歉，实际上更像是在辩解。承认自己冲进场、承认情绪失控，但坚决否认打人和竖中指。问题在于视频画面和他说的对不上。道歉信写得再漂亮，也得先过视频这一关。视频拍到的东西不会因为一篇长文就消失。在多机位录像面前，任何解释都显得苍白。
【您若喜欢“刀锋体育”的文字，请果断关注，了解中国足球不迷路】
相关新闻 （共 6 条）