What's left for the engineers in the AI era

这是一篇简单直接的文章(或者被认为是提纲),目的是提出价值判断、提出关键问题。我刻意避免引用例子,或者论述逻辑来佐证观点,也刻意避免提出解决方案,因为我认为这一部分工作已经被 AI 所取代。

本文主旨在于探讨在 AI 时代,一个工程师还能够输出什么样的价值。
《空中浩劫(ACI)》系列是理解工程思想很好的学习案例,而计算机系统和航空产业又有很多的共同点。下面几点尤其值得关注:
1.所有的黑天鹅都是灰犀牛
2.本质上都不相信人和机器,对环境保持最低限度的假设
3.计算机(AI、自动驾驶)的参与度都很高

管控风险

瑞士奶酪模型(Swiss Cheese Model):在复杂的工程系统中,灾难极少源于单一故障,而是多层防御体系中的隐患恰好‘对齐’所致。

从单个模块的视角观察,一些缺陷的影响并不显著,但是在系统中则会成为致命风险中的一环。在实践中,这样的缺陷可能还会被放大,呈现“蝴蝶效应”。一个超出 SOP 的行为可能产生远超自己预期的结果。
这个模型没有强调的一点是,在计算机或者民航这样的高强度运行的系统中,一切有可能发生的问题最终一定会发生。因此,管控风险不能功利主义地乘上概率,而是真的要把那微小的 corner case 当做正常情况来处理。
我认为一个系统的复杂度和风险无论经过怎么样的封装或者 trade off,都是不能最终被消除的。既然风险是正常情况,管控和确认风险将始终是每个工程师的任务。

和机器相处

人机接管边界

控制权在人与机器之间切换的那个“边界时刻”,往往最容易引发问题。此类问题的特征是机器或者人类都可以独立完成任务,但是当两者合作时就产生了交接过程中的掉棒,或者合作过程中的冲突。
这种问题本质上是在几万年的进化中,人和人之间已经形成了诸多共识;在机器设计的过程中,各个模块间指定了 protocol,并通过测试来保证正确性。但是人和机器的交互之间并没有形成相互的理解,也没有信任。

从写认知到读认知

读优化和写优化是数据库系统中常常要思考的问题,对于人脑也是如此。从我的观察来看,人脑是一个写优化的系统:布道远比学习要容易,输出自己永远比理解他人要容易。

统计学与偏见

人类的大脑是一台出色的“模式识别机”,但绝对不是一台合格的“统计计算机”。 —— 丹尼尔·卡尼曼

在我的文章《概率论中的几个有趣问题》 中论述了一些“反直觉”的统计问题。
但更本质的是,无论是“厌恶”还是“偏见”,人类更愿意基于经验去得到一个非 0 即 1、非黑即白的结论,这是厌恶非确定的本能。关于这个问题我在 《形式谬误和非形式谬误》 一文中也进行了详细的论述。
我认为 AI 的出现会加剧这样的问题,因为 AI 迎合了人类这样的性格弱点。

从提出问题到构建价值

Code is cheap, show me the talk.

在 AI 年代,这句话指出了提出问题比解决问题更加困难也更加有价值这个事实。因此本文的写作中,根本也没有提出解决方案,毕竟有太多关于它们的讨论了。

但随着 AI 将能力边界扩展到了“主动式智能”领域,它们是有能力提出一个好问题,从而推动进化和进步的。所以问题留给了人类,当 AI 澎湃的生产力剥夺了人的利他性,那么人类的最终价值是什么?

我想这个答案应该很简单,当人的所有属性都被剥夺之后,人的价值就不再依赖任何的属性和定位,人的价值就在于他是人。我希望 AI 能够引导一个伟大的社会变革,但留给人类最应该做的是为 AI 的发展方向提供一个优化目标,也就是构建价值。

比失败更糟糕的是“局部成功”

最后想再多说一句,现在是一个人人 demo 的年代,”Done” 的门槛已经越来越低,Done is no longer better than perfect。
那么什么是真正的门槛呢?我想 BERT 本身就是一个很好的反例,它的失败恰恰可以归功于它的成功。也许我们每次在设计的时候,真的需要多问自己一句,这个架构是不是真的就止步于此了?