KVCache 类似于数据库中的物化中间结果:保留已有状态能省掉计算,状态不在执行端时则需要搬回来。对大语言模型,这笔搬运还要看发生频率:开始生成时 load 一次,与每步 decode 都从外部取数,会产生不同的带宽需求。
这篇笔记用一份从模型参数推导出的 4 GiB KV,串起硬件路径、搬运成本和分层缓存的设计选择。产品参数来自公开资料,工作负载与有效带宽采用明确设定的算例。
KVCache 类似于数据库中的物化中间结果:保留已有状态能省掉计算,状态不在执行端时则需要搬回来。对大语言模型,这笔搬运还要看发生频率:开始生成时 load 一次,与每步 decode 都从外部取数,会产生不同的带宽需求。
这篇笔记用一份从模型参数推导出的 4 GiB KV,串起硬件路径、搬运成本和分层缓存的设计选择。产品参数来自公开资料,工作负载与有效带宽采用明确设定的算例。
7.28-8.08
总的来说这是一次很幸运的旅行,因为我们的大交通航班都没有延误,并在在南非的每一天都是晴天,这是非常难得的。我感觉我们去的时候已经在往旱季过渡了。
从体验上来看,因为南非是右舵,所以无法自驾。并且这个国家其实治安确实挺差的,我们只能跟团玩。跟团玩的体验其实是非常不够深入的,基本上都是坐车。我只能在夹缝间去尝试和当地人聊聊天啥的。
Life is about making choices. Decision-making must be grounded in a true, unbiased will and rational thinking.
和老妈逛了逛新加坡。
Vector Index 相关的一些总结吧。
以几年前的一个 case 为例,讨论了 TiFlash 的 HTAP 架构对排查不一致问题的影响,也讨论了如何用 AI 来减少这一类问题的调查时间。
这是一篇简单直接的文章(或者被认为是提纲),目的是提出价值判断、提出关键问题。我刻意避免引用例子,或者论述逻辑来佐证观点,也刻意避免提出解决方案,因为我认为这一部分工作已经被 AI 所取代。
本文主旨在于探讨在 AI 时代,一个工程师还能够输出什么样的价值。
《空中浩劫(ACI)》系列是理解工程思想很好的学习案例,而计算机系统和航空产业又有很多的共同点。下面几点尤其值得关注:
1.所有的黑天鹅都是灰犀牛
2.本质上都不相信人和机器,对环境保持最低限度的假设
3.计算机(AI、自动驾驶)的参与度都很高
过年期间去了呼和浩特和大同。这是首个依照 codex 做的旅游规划玩的活动。
作为一个桌游爱好者,我打算用 Codex 去 Vibe 一个桌游模拟器,这样我可以尝试自定义规则和 Bot 强度。这篇文章我会介绍我 Vibe 的经验。
学习 3FS。