三、集团与个人——围绕个人尊重原理（第二层）的考察

（一）算法上的偏见

如前所述，AI能够“提前”预测个人将会实施的行动、决定以及个人的信用力等，这种能力即为其力量和魅力的源泉。但是，根据这种预测的方法（算法）以及预测结果的使用方式，很有可能与第二部分所阐述的个人尊重原理的第二层（狭义的个人尊重原理）产生尖锐的矛盾。

首先，会被设想到的两者间矛盾发生在如AI预测的程序上混入了错误和偏见的情况。例如，AI在处理大数据时，读取了本来不该被考虑的“虚假相关（spurious correlation）”①。在大数据上，每年在游泳池溺水的人数，与演员尼古拉斯凯奇每年出演的作品数，虽然在历史上有相关，但这只是“碰巧”而已，算法上必须对此无视。但是，这种“虚假相关”也会被算法列入，作为预测评价的基础来使用。11其次，会出现某种群体，在解析用的母数数据集之中发生代表不足（underrepresent）的情况②。例如，美国波士顿市为了调查道路状况，利用了从市民手机中获得的GPS数据，在其过程中发现，道路检修工作集中在了高收入者居住区。但这是由于，很多低收入者并没有手机，来自低收入者居住区的数据在解析母数上存在着代表不足。12这可以说是因代表不足而导致错误的典型案例。最后，会发生AI将现实社会中已经存在的偏见列入算法，并导致这种偏见再生产的情况③。例如，使用现有员工数据来构筑预测“好员工”的算法时，会将当前职场所存在的偏见在算法中直接承继。实际上，英国圣乔治医学院，根据此前不利于少数族群和女性的入学考试数据，用以构筑发现“医科好学生”的算法时，此种筛选就导致了同样偏见的再生产。13

因此，当算法中混入了错误和偏见时，就会因为单纯的预测而使准确度下降，结果就可能导致AI作出违反个人利益的决定。特别是像上述②与③的问题，会导致对少数族群具有歧视的影响效果。如②所述，在AI实施妥当的预测评价时，作为母数的数据集上，来自各群体的数据（“声音”）就必须被均等地——公正且有效地——代表。14比喻而言，“每一票的分量”若是不同，AI的“意思决定”必然会歪曲。在这一点上，电子设备持有率以及社交网络使用率较低的贫困人群以及少数族群的数据（“声音”）就无法准确地反映在解析母数上，完全可以想象，这会在结果上产生对他们不利的预测评价。若是如此，属于此种集团者，恐怕就会因为与个人的努力或能力无关的集团属性，而遭受不利益。自不必说，这具有违反个人尊重原理第二层（从集团之中解放出来）的一面。

在种族歧视一直都是重要社会问题的美国，也特别关注AI基于大数据的预测评价从而对少数族群造成歧视影响的可能性。其中，联邦贸易委员会（Federal Trade Commission，FTC）在奥巴马执政时的2016年1月所发布的题为《大数据：包容工具抑或排斥工具》的报告书15中，考虑到上述算法上的偏见可能会引发少数族群被社会所排除，就阐述了算法预测的利用者应该考虑的如下四项因素。这四项因素即：16（1）被利用的数据集是否妥当地代表了所有的群体（特别是有没有欠缺来自特定群体的信息）；（2）隐藏偏见有没有对特定人群产生意想不到的影响；（3）虚假相关（上述①）有没有被列入算法（特别是在医疗、信贷、雇佣等重要决定上使用算法时，是否确保了人工对算法合适性的监督）；（4）利用之际是否考虑到公平性。

日本也在由总务省设置的AI网络社会推进会议于2017年7月所公布的《面向国际争议的AI开发指导方针提案》之中，考虑到使用AI预测会导致的歧视等问题，指出“希望开发者在依据所使用的技术特性的可能范围内，尽可能地采取措施，避免因在AI系统的学习数据中出现如偏见等而造成不当歧视”。17

（二）基于片区的概率判断——个人主义与片区（segement）主义的相尅

1．片区主义的扩张

AI预测与个人尊重原理间第二种设想的矛盾情况是，AI根据集团属性所作出的概率性评价将作为最终结果而被自动接受的场面。如上文所述，姑且不谈算法中混入了错误和偏见的情况，即便是在没有发生这些问题的情况下，AI也并不能100%正确地把握作为评价对象的个人。这是因为，AI的预测评价，无论怎么说也只是根据集团属性所作出的概率性判断而已。

例如，假设根据AI解析大数据（购买记录等）的结果，所明确的是，40岁出头，单身，有工作，男性，倾向于每周在便利店购物消费从3 000日元到5 000日元。据此，确实，属于“40岁出头，单身，有工作，男性”这一“片区”（具有共通属性的集团）者，可以说有着这样的普遍倾向。但是，属于此类片区者，在实际上应该包含着各种各样的人（这与构成了“日本人”的集团中也有着各种各样的“个人”是相同道理）。例如，属于以上片区的人员中，或许也有人有着过去被误认在便利店偷窃的特殊经历，受此心理创伤后再也不去便利店。并且，在同样有着属性的人之中，严格说来，会有人有正在交往的女性，也会有人没有，即使在前者之中，在倾向于和何种年龄层次的女性交往上也存在不同的可能性。基于“片区”的预测评价，则会削减掉这些个人之间的具体差异，而绝非着眼于“个人”本人。当然，输入的数据量越大，片区就越细分化，个人之间的具体差异性就会更加得到斟酌，但即便如此，作为现实存在的——无可替代的——个人，无论如何都无法被还原成作为属性集合的“片区”。18

如果只是根据AI基于片区的概率性评价来判断个人的能力和信用力的话，根据“在属性，，，……上有着共通的集团”的普遍倾向，就会对该个人的能力等作出概括的、抽象的判断。这恐怕就明显地有着类似于前近代评价手法的一方面，即根据身份与职业这样的集体属性来概括地、抽象地判断个人能力，预先对其生活方式作出规定。如若这样思考的话，AI的预测评价，根据其方法，就会与作为近代宪法原则规范的个人尊重原理相矛盾吧。否定了近代宪法原则规范，要求具体地——即花费时间和成本——考虑每一个人的情况（这里所谈的集团主义，并非是以身份或人种那样的概括性集团为标准。在此，是由以多种属性相组合而勾勒出的无数的微细型“集团（segement）”为标准。在这种意义上，或许称之为“新集团主义”或“片区主义”较为合适。但是，关键点在于，和传统的集团主义一样，这也是根据集团属性来对个人进行概括性地评价）。

2．个人尊重原理的制度化实现

笔者目前有着“根据其方法”所做的保留，相关理由包括如下。

如果不将AI的预测评价，作为对个人能力等的最终评价，而是在程序上加入（人工的）意思决定权者批判性地对AI预测进行斟酌评价的机会，以及被评价者就相关预测评价提出异议的机会的话，如此就能够防止根据集团属性来对个人作出概括性的评价（毋宁是说，通过确保此种程序，或许能克服人类固有的偏见，以作出更为公正的评价）。实际上，2018年5月开始实施的欧盟《通用数据保护条例》（General Data Protection Regulation，GDPR）在第22条第1项中，针对作为被评价人的个人，认可其有权反对此类决定：只是根据AI的预测评价来自动处理，对本人产生了法律影响或类似重要影响的决定。因此，在欧盟，在雇佣以及信贷等场合，不能仅仅依靠AI的预测评价来判断个人是否符合。GDPR虽然在本人明确同意时，认可企业可以例外地仅由自动处理来作出特定的决定，19但也规定，即使在这种情况下，企业也必须采取适当措施来保障作为被评价者的个人权利、自由，至少必须保障获得人工干预的权利、表明自我见解的权利、就决定提出异议的权利（第22条第3项）。可以这么理解，在上述欧盟的框架内，基于片区而对个人作自动“分类”被视为违反了个人尊重原理，法律要求的是，最终由人来面对每一位被评价者，侧耳倾听他们发出的声音。

另外，美国也通过判例法，承认了有权不仅仅根据AI的预测评价来作出重要决定。在美国，包括威斯康星州在内的一些州，法官在量刑判断时，会利用算法来作再犯风险的预测评价。202016年，威斯康星州最高法院，就量刑判断时利用算法来预测评价的合宪性，作出了重要的宪法判断。21在State v. Loomis的案件中，威斯康星州根据所采用的预测评价系统（被称为COMPAS）22判处黑人被告人有期徒刑6年，并处5年的延长考察期。被告人则主张，根据无法保证正确性也不具备验证可能性的系统所作出的再犯风险预测评价，侵害了其受宪法所保障的正当法律程序权利。在此会产生很多问题，23比如以交易秘密为理由导致算法被黑箱化，无法说明作出此种预测评价的“理由”；相关评价只是预测具有同样属性者实施再犯的一般可能性，而非预测当该被告人实施再犯的具体可能性；该系统还存在着种族歧视倾向，即将黑人再犯的风险率估算为白人的两倍。威斯康星州最高法院在该案中，虽然裁定法官在量刑判断之际利用算法来预测评价的做法符合宪法，不过重要的是在就其利用上附加了以下“条件”。

第一点，根据COMPAS的预测评价，法官不能将之作为最终评价来考虑，终究只是将之作为判断的材料之一。

第二点，从宪法上正当程序的观点出发，预测评价必须要对法官就以下几点作出书面警示。（1）因COMPAS的知识产权性质，导致在其算法之中有关诸多要素是如何被考虑，进而如何导出预测评价的详细信息，无法得到公开。（2）关于预测评价的有效性，只以威斯康星州的人口构成为前提的调查，尚未完成。（3）不少研究调查，针对将少数族群归类为再犯风险更高者，提出了忧虑。也可以这么理解，通过向法官警示COMPAS所作预测评价的不完整性，要求法官秉持怀疑预测评价的观点，冷静地侧耳倾听被告人自身所言的故事。

综上所述，可以认为，美国以宪法上正当程序为根据，也在判例法上承认了欧盟GDPR所保障的类似权利。也就是说，有权不只根据AI基于集团属性所作的预测评价来作出人生的重要决定。欧美的这种潮流，体现了想要把AI的预测评价和个人尊重原理相和谐地实施的某种“方法”，意义深远。但是，就像《哈佛法律评论》上对Loomis案判决所作匿名评释所指出的那样，即使在形式上提倡不能将AI的预测评价作为最终评价，但人工的意思决定权者，恐怕实际上很难批判性地斟酌此种评价。24西特伦（Danielle Citron）也指出了同样的困难性。25他认为，人类会抱有“自动化偏见”，即过于相信电脑自动化地判断，盲从其判断。

如此的话，为了实质地保障上述权利，一般认为不可欠缺的是，第一，对人工的意思决定权者的启发、教育；第二，确保算法的透明性。关于第一点，像Loomis案判决所要求的那般“书面警示”，恐怕并不充分。算法也可能会混入错误和偏见（参照第本章第一部分），其预测评价也只是基于片区所作的概率性评价而已。关于这一点，必须要充分地告知人工的最终意思决定权者。关于第二点，为了能够让人工的最终意思决定权者能够批判性地斟酌AI所作预测评价，对被评价者能够说明决定的理由，以及为了让被评价者一方也能够就AI所作预测评价提出实质的反驳，恐怕就要公开算法逻辑的重要部分。即使被评价者对最终决定抱有不满，若是完全不知悉算法逻辑，就无法提出有效的反论，只能忍气吞声。并且，算法的完全黑箱化，由于并未向被评价者告知为何获得较低评价的原因，这也将在实质上剥夺他们再挑战的机会。这也将导致，一旦被AI打上了“不合格”烙印，这些人连理由都不知晓，就会被社会持续地排除。他们就会被扔进迈尔—舍恩伯格（Viktor Mayer-Schönberger）所讲的“名唤概率之牢狱”，26笔者所讲的“虚拟贫民窟”27之中。在这一点上，值得注目的是GDPR的规定：在企业者依据AI的预测评价来作出决定时，“为了确保公正与透明性”，要求企业者一方要告知相关预测评价的“具有逻辑相关意味的信息”（第13条第2项f）。28

另外，也有理由认为，AI的预测评价，“根据其方法”，不会与个人尊重原理相矛盾。如前所述，若是数据输入越多，片区就越来越细致，即使不能做到100%，也可以相当正确地接近每一个人的实态。若是考虑在“40岁出头，单身，有工作，男性”这样的片区之上，再加上“住在某某地区，年收入约多少日元，养猫，某某大学毕业，喜欢爵士音乐”等属性，片区就会相当的细微化，更加接近于“个人”的实态。根据此种片区所得出的预测评价，似乎可谓是将被评价者“作为个人”而尊重。通过综合地考虑个人的多样要素，或许会产生出相比满怀偏见的人类所为模拟评价，更为正确且公正的结果。

虽然此种方向性，就其在某种程度上抑制了AI预测评价所伴随的集团主义要素这一点上，确实可谓是对个人很友善，但却有可能归结到“零隐私状态”，就这一点上来说，作为消解与个人尊严原理发生矛盾时的方法，可谓是有着局限性。这与下述内容也有关联，在此存在着AI社会中极为重要的难关。也就是说，如果增加数据输入以提高预测精度，减少集团主义要素，则会产生丧失隐私的问题。简单地讲，“为了更多地了解我‘自己’，就必须更多方面地来观察我”。也就是说，个人为了更好地被关怀到，就必须让渡出隐私。例如，基于所谓和个人能力相关的理由，可以想象的是，甚至像个人所发声的音调以及行动、动作这样的无意识行动也会被收集，作为预测评价的基础。在这种情况下，个人能力则由那些无法通过自身“意思”来选择、修正的事项（无意识行动）所评价，将会遭受不利益。这恐怕也将摧毁个人尊严原理的第三层（尊重自律，或自我决定原理乃至责任主义）（参照前文）。就此点而言，似乎有必要来定义AI不应查看——不应作为预测评价的基础——的属性信息，若是如此，片区就不得不在程度上粗糙化，导致集团主义要素再度增强。这似乎也明显地体现出，正确把握“个人”（提高预测精度）与隐私之间存在紧张关系，如何平衡好两者则是重要的法政策课题。

综上所述，针对AI的预测评价，本部分就其根据片区所形成“集团”的一般倾向来对个人作出概括的、武断的评价这一点上，指出其有着与个人尊重原理（第二层）相矛盾的一面，阐明了回避此种矛盾的方法及其课题。

（三）“过去”的拘束

第三种可能会与个人尊重原理（第二层）相矛盾、抵触的情形的是，如之前略作触及的那样，随着提高预测精度变得至关重要，对AI的数据供给变得不受限制的情形。如上所述，AI预测精度与数据量之间存在着比例关系，数据量如果增加，预测精度就会上升，数据量如果减少，预测精度就会下降。因此，在重视增加预测精度的AI社会中，尽可能地收集、保存与个人相关的数据以作为预测评价基础的此种方针——趋向于零隐私状态——即属“自然”。但是，这种“自然”倾向，在与个人尊重原理的关系上，就有着像下面这样的问题。

首先是关于污名的问题。个人尊重原理，也被认为是从污名之中得到解放的保障。曾因违反了某种规则或戒律，一度被刻印上污名者——霍桑小说《红字》（The Scarlet Letter）中，犯有通奸罪的海斯特白兰一生都必须身着被缝上象征荡妇（Adulteress）的A字的衣服，不管如何忏悔其罪行，想要洗心革面，但因污名之故却遭阻碍。针对这种在后天所刻印的污名来苛责某个人的一生，不论此人的“再生”能力，剥夺了此人改过自新机会的做法，应被宪法上的个人尊重原理所禁止。例如，在接受有罪判决而服刑结束者，隐藏此事实迁居他乡（从冲绳到东京），结婚成家，以巴士司机的身份开始了新的人生，却被某个非虚构作品实名公布、暴露了前科——污名——的案件中，29最高法院裁定此种公布行为对隐私造成了侵害。最高法院在判决中指出，即使是曾经实施了犯罪之人，“在接受有罪判决或结束服刑后，也被期待作为一位市民复归社会，因此该人享有不被妨碍改过自新的利益，而公开其前科相关事实，会有害于重新形成的社会生活的平稳”，隐含《宪法》第13条的个人尊重原理，30认可了隐藏污名，重来人生的自由。该判决的调查官解说也指出，“在犯罪者真挚地致力于改过自新之际，公开前科妨碍改过自新，此系显而易见之道理，因此在抽象上而言，姑且不谈保持或恢复其隐私性之时间，有必要以法来保护前科不被公开之利益，就此并无异议”。31

AI社会的“自然”倾向，就会与此种判例法理相矛盾。这是因为，由于数据量与AI预测评价的精度之间存在着比例关系，AI并不会去“忘却”反而会记住被评价者的过去，只要与评价事项有关，就会有很大可能来继续使用。因此，污名不是刻印在当该个人的身体上，而是刻印在此人的数据档案上（数据污点），将会继续妨害此人的改过自新。在AI社会中，即使是过去的污点，只要与评价事项相关就会被继续使用，此属“自然”之事，但这却让隐藏污点，重新来过人生这件事变得极其困难。在这一点上，重要的恐怕就是，以个人尊重原理为根据，允许有权使AI忘却特定“过去”（删除权）（关于这一点，值得注目的是，GDPR第17条保障了删除权）。

其次，AI社会的“自然”倾向，也会导致如下事态，个人会被基于自身意思无法选择、修正的要素所区别开来，以评价其能力等。例如，有关遗传信息以及家族、血缘者生活方式的信息，或许确实能够构成正确预测个人能力以及健康状态的重要信息，但若是无限制地认可使用此类信息，恐怕本人就会因为这些本人无法控制的情况——“出生”——而遭受到不利益。日本最高法院，就民法中基于子女地位是否婚生而区分遗产继承份额的规定，从“应将子女作为个人来尊重，保障其权利”的观点出发，指出“不允许以（子女）自身无法选择、毫无修正余地之事项（非婚生之地位）为理由，对子女造成不利益”，裁定该规定违反宪法。32这一道理，恐怕也适用于AI预测评价中对遗传信息的使用。为了将被评价者“作为个人”而尊重，即便是被认为确与评价事项相关，但属本人毫无选择余地的遗传信息以及父母信息，应该在原则上被禁止利用。

由上所见，AI若是不注意其操作，就可能会导致一个固定的社会，在这个社会中，个人因为那些自身并不负有责任的属性，或是因为只是一度的过失，就在生活方式上受到了极大的限制。无需赘言，这会与宪法所言的个人尊重原理（第二层）相矛盾。