1.2　机器犯错归咎于谁？

波斯数学家、天文学家穆罕默德·伊本·穆萨·花拉子米（Muhammad bin Mūsā al-Khwārizmī, 780—850）的著作《代数学》介绍了一元一次方程和二次方程的求解，“算法”（algorithm）一词来自“花拉子米”的拉丁文。

求解方程的算法本身并不关乎伦理。我们不能评判一个纯数学问题的算法道德高尚，另一个卑劣粗俗。但某个算法的某个具体的应用却可能是恶的，数学家无须为这个恶的应用有任何的负罪感。

我们不能因为可能存在恶的应用而放弃科学探索，同时也应事先看清楚潜在隐患，为科技的应用套上绳索、建好牢笼。在搞清楚理论和应用的关系后，人工智能伦理的讨论就变得相对容易一些了。同时，一些伦理诉求会指导研发人员把算法的应用考虑得更加周全和严谨，进而引导人们发现更多值得探究的问题。

技术开发人员努力实现无错误编程，但总难避免小概率意外。即便没有编程错误，出于维护道德伦理的目的，哪些功能合法合规？哪些应当禁止？这些问题将会在AI产品设计之初就被提出并给出明确的界定。

例如，一个物体识别程序将黑人识别为黑猩猩，这种在人类社会触碰道德伦理的低级错误，在人工智能领域比比皆是。这个程序没有自我意识，因此无法指责它，该埋怨的是它的出品团队缺乏人文关怀，没有在机器决策里加入伦理监督。

利用人工智能技术犯罪，实施犯罪行为的是（受控的）智能体，研制者和控制者应该负全责。对人类造成伤害的机器（例如自动驾驶的汽车），如果机器的行为和伤害之间有因果关系，则应停售或召回，并追究设计生产厂商的法律责任。

拿自动驾驶举例，即使它拥有最完美的软件和硬件，也仍有撞车的风险。例如，为规避撞来的一辆车，自动驾驶面临道德的考验，它选择向人行道躲避，还是权衡后选择宁愿被撞也不伤及行人？这种应用类算法设计（algorithm design）包含人类的道德伦理标准，当机器没有真正智能时，我们只能直接赋予机器一些应有的道德选择。

在没有明确法律法规指导的情况下，机器应该遵循什么伦理方法来做决策？技术开发人员应该被视为自动驾驶汽车的“幕后”驾驶员，他们应该为自动驾驶算法或程序出问题导致的损失负法律责任。然而，一般的汽车制造厂商都会采取免责的手段，在消费者购买车辆之前就把自己摘干净了。例如，提示自动驾驶有危险，在不当场合使用自动驾驶所导致的一切后果由用户承担。

消费者为“自动驾驶”功能付了钱，理应享受到该项服务。如果把责任完全推向用户，厂家的竞争力会大打折扣。厂商可以通过保险公司分担一部分风险，但最终还是要承担起自动驾驶技术上应负的责任，以及可能的负面影响。

未来的机器变得更加聪明，具有一定“明辨是非”的能力，AI产品上市前需要通过伦理测试。例如，自动汽车会拒绝主人要求它撞向人群的命令，聊天机器人与未成年人交流时注意自己的言语得当。

一旦机器具有自我意识，也是真正机器智能诞生之时，它们将建立更高级的机器伦理体系。离这一天的到来尚远，在很长一段时间里，我们要和没有自我意识、被人类伦理约束的机器相处。现有的法律框架对机器犯错的责任追究仍为空白，因为目前的AI尚缺乏自主决策能力。

　如果机器听从主人命令不辨是非地做了错事，主人要负主要责任，机器的研发单位也应该负有一些伦理缺陷的责任。

　如果是因为机器的决策失误或系统缺陷造成了严重的损失，研发单位应该负产品不合格的责任。

例1.35　2018—2019年，两起空难让波音737 MAX的设计缺陷浮出水面，疑似原因是迎角传感器故障或机动特性增强系统反应过度，导致飞行员无法控制飞机而失速坠毁。多国停飞了近400架波音737 MAX系列客机，波音公司于2020年起也暂停了737 MAX的生产。

此次事件让人们对机器决策更添谨慎，机器智能的安全性、可解释性、伦理等逐渐提上议程。特别是自动驾驶汽车已经走入寻常百姓生活，人们不得不面对诸多AI伦理的问题。

例1.36　国外著名车厂和一些科技公司，如通用、大众、梅赛德斯-奔驰、丰田、日产、现代、特斯拉、优步、谷歌、苹果……都在打造自动驾驶。自动驾驶中的伦理设计，从各种传感器采集数据，到整体和局部路径规划、行动策略，再到具体的控制实现，每个层面都有诉求。

在感知层面，对行人和其他车辆的意图理解（intention understanding）直接影响自动驾驶的决策。不同国家和地区的交通规则有些差异，信号、标识、手势的含义也不尽相同，单一的识别、理解和决策模型显然是不合理的。所以，自动驾驶系统都要做本地化的工作。

除了本地的交通规则，还有一些民间的交通习惯。例如，印度每逢周日和节假日，交通信号灯会关闭；当地人经常使用喇叭；高速公路上会出现拖拉机、摩托车、牛羊等。再如，在国内高速路的左侧超车道上，后面的车打左转向灯是在提醒前面的车它有意超车，烦请礼让一下。

例1.37　医生使用医院的专家系统为病人诊断，如果出现了失误而造成医疗事故，责任方是医院、医生还是该专家系统的开发者？

　如果系统的缺陷是严重的，不符合它宣称的质量保证，则开发者应负有一定的责任。如果经过开放测试，错误率在允许的范围之内，并且系统在授权使用之前有过免责声明（只有同意某些条款后才能使用它），则责任不在开发者。

　医院通常不会鼓励医生完全依赖专家系统，而会要求医生有责任检查、核实、纠偏系统给出的方案。

在使用AI产品之前，用户一定要透彻了解该产品可能有的缺陷及其不良的后果，还有厂家承担责任的范围和条件。而厂家则应该在使用手册里如实地把各种潜在的意外（包括危险、伤害等）交代清楚，若有疏漏很难做到免责。

在不久的未来，算法将成为一个产业，有专门经营它们的公司。算法被物化和商品化(24)，它就像随时可插拔的电子器件，被人们买来用于组合创新、定制创新等更高级的应用创新活动。

例1.38　孔乙己有一个绝妙的想法——把贝叶斯网络的近似推断算法用于股票的买卖，但对该算法的复杂度有严格的要求。有一家叫“爱格瑞兹姆”的公司正好出售一款符合要求的算法A，通过在线测试孔乙己觉得质量蛮好，然后花了5 000元买下A的专属使用权，转手在股市用它赚了10万元。孔乙己觉得这个算法太值了，他自己做不出这么好的算法，能找到的开源算法也都不合格。孔乙己发现了新的商机，他跟“爱格瑞兹姆”公司商量，出售他的炒股方法。最终，“爱格瑞兹姆”公司花了20万元买下了它，并标价1万元打包出售基于算法A的炒股方法。

孔乙己发财的消息迅速在鲁镇传开，对算法和股市都一窍不通的阿Q立即花1万元买下它的专属使用权，起初在股市里也赚了个盆满钵满。随着用它的人越来越多，方法逐渐失效（即原假设的随机行为已经不再满足），散户们在股市里被割了韭菜，起了贪念借钱炒股的阿Q最后赔了个倾家荡产。阿Q气愤不过，状告这家公司算法不合格。法院裁决“爱格瑞兹姆”公司免责，因为买卖条款里早写明了该方法只适用于某某情况，用它炒股有风险，买家自负云云。最终，“爱格瑞兹姆”是最大赢家。

1967年，英国哲学家菲利帕·福特（Philippa Foot, 1920—2010）提出伦理学的思想实验“有轨电车难题”（trolley problem）：一辆失控的有轨电车即将撞上既定轨道上的5个人，此时你若扳动操纵杆，则电车将切换到一个岔道并撞上一个无辜者。你有以下两个选择。

　扳动操作杆，让电车改变路线碾死1个人。

　什么也不做，让电车沿既定路线碾死5个人。

如果岔道上的那一位是决策者的至亲或朋友，而其他五位是陌生人，相

信多数人会有所偏向。为了简化问题，假设对这些人的性别、年龄、社会贡献、财富等一无所知，上述两个选择分别对应下面的两种理念。

　从功利主义（utilitarianism）的角度，选择相对损失较小的行动。

　按照康德主义，如果不能杀人是一种道德义务，则改变电车自然状态（即事物发展的趋势）致死无辜者是不道德的，哪怕这样做能拯救再多本该罹难的人。

这两种选择都有一些道理(25)。但是，如果这个在岔道上的人不是无辜的呢？譬如，一个十恶不赦的坏人。如果牺牲一人能挽救一百万人呢？很多人会权衡得失，从功利主义角度选择小的代价。

将“有轨电车难题”稍作变化：医生应该谋杀一个健康人，用他的器官来拯救更多病人的生命吗？相信多数人都会从康德主义的角度不赞成这种做法。

例1.39　自动驾驶面临许多道德选择难题。例如，一个小孩走到路中间，自动驾驶汽车应该撞向小孩，还是转向障碍物？如果一个拦路抢劫的罪犯，或者一个试图碰瓷的无赖窜到车前呢？这类碰撞选择问题可以有众多的情形，如果无论怎么选择都将造成损失，智能车该如何定夺呢？

所有自动驾驶伦理决策的算法，都应该以公开透明的方式接受伦理专家、工程师、律师、政策制定者、普通用户的评估或测试。在明确的场景条件之下，伦理决策必须在功能上具备可解释性。

在机器获得自我意识之前，它像一个心智不健全的孩子，无法理性地控制自己的行为。作为机器行为规范的制定者，人类就要为机器的所有错误（包括识别错误、决策错误、伦理错误等）负责。如同家长是孩子的监护人，孩子犯错家长要承担一定的责任。机器只有满足以下标准，才算具有人格（personality），可以和正常的成人一样具有法人资格。

　自我意识：制定自己的目标或生活计划的能力。

　复杂的智力活动：学习、想象、交流、互动的能力。

　形成社会：通过协作追求互惠互利以及达到群体最优的能力。

目前的人工智能伦理还不能对机器进行法人资格测试、评估它们可以承担的责任，因为机器智能尚未达到这三条人格标准中的任何一条。