商业自动化决策的算法解释权研究
|
摘要
自动化决策广泛应用,算法的评分、排序决定和影响着相对人贷款、就业、信誉等诸多权益。但当算法作出不利甚至错误决策时,相对人无从知晓原因更遑论改正其错误决策,严重缺乏应有的救济。通过梳理现有法律资源发现,传统制度在自动化决策场景下均不敷适用,无法为相对人提供算法决策的解释。法律应配置独立的算法解释权,用以衡平自动化决策使用者与相对人不对称的权力关系,作为合同制度在人工智能时代的因应性变革。算法解释权的理论正当性亦可在贯彻意思自治原则、矫正信息不对称、分配风险负担等层面得到充分证成。算法解释权的内在构造具有独特的内容要求和双层架构,其具体制度应在兼顾效率和公平的原则下进行设计。
The increasing prevalence of algorithm in decision-making processes raises very important and urgent questions regarding how law protects rights of people,such as eligibility of loan,employment and reputation. The paper assumes that there ought to be a right to explanation due to existing law cannot provide proper protection. The right to explanation is an adjustment of law complying with the power distance of contract in the era of AI. And yet,the traditional civil law theory justifies such a right as moral/ethical foundation of a right to explanation. It should be designed as a right with two-tier structure. Also,a proper scope and due process should be considered on compatibility of efficiency and equity.
The increasing prevalence of algorithm in decision-making processes raises very important and urgent questions regarding how law protects rights of people,such as eligibility of loan,employment and reputation. The paper assumes that there ought to be a right to explanation due to existing law cannot provide proper protection. The right to explanation is an adjustment of law complying with the power distance of contract in the era of AI. And yet,the traditional civil law theory justifies such a right as moral/ethical foundation of a right to explanation. It should be designed as a right with two-tier structure. Also,a proper scope and due process should be considered on compatibility of efficiency and equity.
引文
[1]O'Neil C:Weapons of math destruction:How big data increases inequality and threatens democracy[M].Broadway Books,2017.
[2]Davidow,B:Welcome to Algorithmic Prison-the Use of Big Data to Profile Citizens Is Subtly,Silently Constraining Freedom.[J].The Atlantic,2014,20(2):12-17.
[3]Lepri B,Staiano J,Sangokoya D:The Tyranny of Data?The Bright and Dark Sides of Data-Driven Decision-Making for Social Good[M].Transparent Data Mining for Big and Small Data.Springer International Publishing,2017.
[4]Wachter S,Mittelstadt B,Floridi L.Why a right to explanation of automated decision-making does not exist in the general data protection regulation[J].International Data Privacy Law,2017,7(2):76-99.
[5][英]休·柯林斯.规制合同[M].郭小丽,译.北京:中国人民大学出版社,2014.
[6]周辉.变革与选择:私权力视角下的网络治理[M].北京:北京大学出版社,2016.
[7]吴汉东.人工智能时代的制度安排与法律规制[J].法律科学-西北政法大学学报,2017,35(5):128-136.
[8][德]哈贝马斯.在事实与规范之间:关于法律和民主法治国的商谈理论[M],童世骏,译.北京:生活·读书·新知三联书店,2003.
[9]胡平仁,杨夏女.以交涉为核心的纠纷解决过程——基于法律接受的法社会学分析[J].湘潭大学学报(哲学社会科学版),2010,34(1):24-30.
[10]邢会强.信息不对称的法律规制[J].法制与社会发展,2013,19(2):112-119.
[11][美]佩德罗·多明戈斯.终极算法:机器学习和人工智能如何重塑世界[M].黄芳萍,译.北京:中信集团出版社,2017.
[12]俞可平.重新思考平等、公平和正义[J].学术月刊,2017,49(4):5-14.
[13]张维迎.博弈论与信息经济学[M].上海:三联书店,2012.
[14]刘大洪,廖建求,刘建新.消费信息不对称的法律规制[J].法学论坛,2003,18(4):61-66.
[15]唐清泉.信息不对称下的激励与监控的模型分析[J].中山大学学报(社会科学版),2001,41(2):119-125.
[16]董安生.民事法律行为[M].北京:中国人民大学出版社,2002.
[17][英]威廉·葛德文.政治正义论(第1卷)[M].何慕李,译.北京:商务印书馆,1982.
[18][德]卡尔·拉伦茨.德国民法通论(上册)[M].王晓晔,译.北京:法律出版社,2003.
[19]杜仪方.风险领域中的国家责任——以日本预防接种事件为例证[M]//.姜明安.行政法论丛(第14卷),北京:法律出版社,2011:455-471.
[20]Goodman B W.A step towards accountable algorithms?algorithmic discrimination and the european union general data protection[M]//.29th Conference on Neural Information Processing Systems(NIPS 2016),Barcelona.NIPS Foundation.2016.
[21]马新彦.信赖与信赖利益考[J].法律科学,2000,(3):75-84.
[22]龙卫球.我国智能制造的法律挑战与基本对策研究[J].法学评论,2016,34(06):1-13.
[23]Zeiler M D,Fergus R.Visualizing and understanding convolutional networks[M]//.European conference on computer vision.Springer,Cham,2014:818-833.
[24]Mahendran A,Vedaldi A.Understanding deep image representations by inverting them[M]//.Proceedings of the IEEE conference on computer vision and pattern recognition.2015:5188-5196.
(1)参见《Cloudera联合创始人:AI还在决策自动化阶段》,《第一财经日报》2017年11月14日。
(2)据报道,中科大采用算法,根据学生的消费频率、消费金额来识别贫困生并进行隐形资助。而未曾在学校食堂经常用餐却消费很低的学生也由算法判断不符合资助标准。参见《暖心!这所大学竟用这种方式,偷偷资助“不舍得吃饭”的学生…》2017年7月10日报道。http://www.sohu.com/a/157397381_252526,2017年8月20日访问。
(1)Northpoint公司开发的犯罪风险评估算法COMPAS对犯罪人的再犯风险进行评估,并得出一个再犯风险分数,法官可以据此决定犯罪人所遭受的刑罚。参见Brennan T,Dieterich W,Ehret B.Evaluating the Predictive Validity of the Compas Risk and Needs Assessment System.Criminal Justice&Behavior An International Journal,2009,36(1):21-40.
(2)参见搜狐网:《应建立第三方机构以管控作出糟糕决定的人工智能》,http://www.sohu.com/a/125322861_465915,2017年8月21日访问。
(3)非盈利组织ProP ublica研究发现,Northpoint公司开发的犯罪风险评估算法COMPAS系统性地歧视了黑人,白人更多被错误地评估为具有低犯罪风险,而黑人被错误地评估为具有高犯罪风险的几率两倍于白人。Kirchner,Julia Angwin Surya Mattu,Jeff Larson,Lauren.2016.‘Machine Bias:There’s Software Used Across the Country to Predict Future Criminals.And It’s Biased Against Blacks.’ProP ublica.https://www.propublica.org/article/machine-bias-risk-assessmentsin-criminal-sentencing,2017年11月1日访问。
(4)John Frank Weaver:Artificial Intelligence Owes You an Explanation:When an A.I.does something,you should be able to ask,“Why?”http://www.slate.com/articles/technology/future_tense/2017/05/why_artificial_intelligences_should_have_to_explain_their_actions.html,2017年12月20日访问。
(5)2016年4月12日,西安电子科技大学21岁学生魏则西因滑膜肉瘤,在百度上搜索出武警北京第二医院的生物免疫疗法,随后在该医院治疗后致病情耽误病逝,2016年5月2日,国家网信办会同国家工商总局、国家卫生计生委成立联合调查组进驻百度公司进行调查并依法处理。参见:《国信办联合调查组结果:百度竞价排名影响魏则西选择百度:从6方面整改》2016-05-09,http://www.guancha.cn/economy/2016_05_09_359617.shtml,2017年8月20日访问。
(6)《欧洲通用数据保护条例》(GDPR)中在第71条明确提出了解释权,表述为被自动决策的人应该具有适当的保护,具体应包括数据主体的特别信息和获得人类干预,表达自己的观点,并且有权获得该评估决定的解释,并对决定提出质疑。
(1)See:Cook County homeowner sues Zillow for low'Zestimate',http://www.chicagotribune.com/classified/realestate/ct-re-0514-kenneth-harney-20170510-column.html,2017年12月3日访问。
(2)参见《淘宝平台服务协议全文》6.1-6.2,http://b2b.toocle.com/detail--6361764.html,2017年11月23日访问。
(1)《中华人民共和国产品质量法》第2条第2款。
(2)“for instance,debate in the UK House of Lords concerning the meaning of‘logic involved’and‘trade secrets’in the 1998 Data Protection Act:Grand Committee on the Data Protection Bil,l‘Official Report of the Grand Committee on the Data Protection Bill[HL]”(Hansard,23February 1998)’(UK Parliament-House of Lords 1998).2017年8月2日访问。
(3)Douwe Korf,f‘New Challenges to Data Protection StudyCountry Report:United Kingdom’(European Commission DG Justice,Freedom and Security 2010)48.2017年7月15日访问。
(1)参见Diakopoulos N.Algorithmic accountability:Journalistic investigation of computational power structures.Digital Journalism,2015,3(3):398-415.此文中作者也提出了“algorithm power”算法权力的概念。
(1)参见新浪微博用户协议:“用户知悉并同意,微博平台有权根据技术规则通过检测验证等方式判断用户帐号所发布的信息是否为垃圾信息,并采取相关措施予以处理。”https://weibo.com/signup/v5/protocol/,以及文中提到的淘宝与支付宝的用户协议。
(1)参见《用户条款和法律文书,藏污纳垢之严重令人震惊》。其中揭示了很多知名网络平台利用用户协议躲避官司的行为。https://news.cnblogs.com/n/578564/Equifax,2017年12月6日访问。
(2)2010年5月6日早10点美国股市大跌2.5%,后到东部时间下午2点42分,股市剧烈波动后进入自由落体状态,创下了有史以来单日最大跌幅。紧接着一分钟之内又暴涨了300点。由于堪萨斯城的一位经理人的算法过快出售掉了价值40亿美元的股指期货,导致其他算法跟风。参见[美]斯坦纳:《算法帝国》,李筱莹译,人民邮电出版社2014版,第2页。
[2]Davidow,B:Welcome to Algorithmic Prison-the Use of Big Data to Profile Citizens Is Subtly,Silently Constraining Freedom.[J].The Atlantic,2014,20(2):12-17.
[3]Lepri B,Staiano J,Sangokoya D:The Tyranny of Data?The Bright and Dark Sides of Data-Driven Decision-Making for Social Good[M].Transparent Data Mining for Big and Small Data.Springer International Publishing,2017.
[4]Wachter S,Mittelstadt B,Floridi L.Why a right to explanation of automated decision-making does not exist in the general data protection regulation[J].International Data Privacy Law,2017,7(2):76-99.
[5][英]休·柯林斯.规制合同[M].郭小丽,译.北京:中国人民大学出版社,2014.
[6]周辉.变革与选择:私权力视角下的网络治理[M].北京:北京大学出版社,2016.
[7]吴汉东.人工智能时代的制度安排与法律规制[J].法律科学-西北政法大学学报,2017,35(5):128-136.
[8][德]哈贝马斯.在事实与规范之间:关于法律和民主法治国的商谈理论[M],童世骏,译.北京:生活·读书·新知三联书店,2003.
[9]胡平仁,杨夏女.以交涉为核心的纠纷解决过程——基于法律接受的法社会学分析[J].湘潭大学学报(哲学社会科学版),2010,34(1):24-30.
[10]邢会强.信息不对称的法律规制[J].法制与社会发展,2013,19(2):112-119.
[11][美]佩德罗·多明戈斯.终极算法:机器学习和人工智能如何重塑世界[M].黄芳萍,译.北京:中信集团出版社,2017.
[12]俞可平.重新思考平等、公平和正义[J].学术月刊,2017,49(4):5-14.
[13]张维迎.博弈论与信息经济学[M].上海:三联书店,2012.
[14]刘大洪,廖建求,刘建新.消费信息不对称的法律规制[J].法学论坛,2003,18(4):61-66.
[15]唐清泉.信息不对称下的激励与监控的模型分析[J].中山大学学报(社会科学版),2001,41(2):119-125.
[16]董安生.民事法律行为[M].北京:中国人民大学出版社,2002.
[17][英]威廉·葛德文.政治正义论(第1卷)[M].何慕李,译.北京:商务印书馆,1982.
[18][德]卡尔·拉伦茨.德国民法通论(上册)[M].王晓晔,译.北京:法律出版社,2003.
[19]杜仪方.风险领域中的国家责任——以日本预防接种事件为例证[M]//.姜明安.行政法论丛(第14卷),北京:法律出版社,2011:455-471.
[20]Goodman B W.A step towards accountable algorithms?algorithmic discrimination and the european union general data protection[M]//.29th Conference on Neural Information Processing Systems(NIPS 2016),Barcelona.NIPS Foundation.2016.
[21]马新彦.信赖与信赖利益考[J].法律科学,2000,(3):75-84.
[22]龙卫球.我国智能制造的法律挑战与基本对策研究[J].法学评论,2016,34(06):1-13.
[23]Zeiler M D,Fergus R.Visualizing and understanding convolutional networks[M]//.European conference on computer vision.Springer,Cham,2014:818-833.
[24]Mahendran A,Vedaldi A.Understanding deep image representations by inverting them[M]//.Proceedings of the IEEE conference on computer vision and pattern recognition.2015:5188-5196.
(1)参见《Cloudera联合创始人:AI还在决策自动化阶段》,《第一财经日报》2017年11月14日。
(2)据报道,中科大采用算法,根据学生的消费频率、消费金额来识别贫困生并进行隐形资助。而未曾在学校食堂经常用餐却消费很低的学生也由算法判断不符合资助标准。参见《暖心!这所大学竟用这种方式,偷偷资助“不舍得吃饭”的学生…》2017年7月10日报道。http://www.sohu.com/a/157397381_252526,2017年8月20日访问。
(1)Northpoint公司开发的犯罪风险评估算法COMPAS对犯罪人的再犯风险进行评估,并得出一个再犯风险分数,法官可以据此决定犯罪人所遭受的刑罚。参见Brennan T,Dieterich W,Ehret B.Evaluating the Predictive Validity of the Compas Risk and Needs Assessment System.Criminal Justice&Behavior An International Journal,2009,36(1):21-40.
(2)参见搜狐网:《应建立第三方机构以管控作出糟糕决定的人工智能》,http://www.sohu.com/a/125322861_465915,2017年8月21日访问。
(3)非盈利组织ProP ublica研究发现,Northpoint公司开发的犯罪风险评估算法COMPAS系统性地歧视了黑人,白人更多被错误地评估为具有低犯罪风险,而黑人被错误地评估为具有高犯罪风险的几率两倍于白人。Kirchner,Julia Angwin Surya Mattu,Jeff Larson,Lauren.2016.‘Machine Bias:There’s Software Used Across the Country to Predict Future Criminals.And It’s Biased Against Blacks.’ProP ublica.https://www.propublica.org/article/machine-bias-risk-assessmentsin-criminal-sentencing,2017年11月1日访问。
(4)John Frank Weaver:Artificial Intelligence Owes You an Explanation:When an A.I.does something,you should be able to ask,“Why?”http://www.slate.com/articles/technology/future_tense/2017/05/why_artificial_intelligences_should_have_to_explain_their_actions.html,2017年12月20日访问。
(5)2016年4月12日,西安电子科技大学21岁学生魏则西因滑膜肉瘤,在百度上搜索出武警北京第二医院的生物免疫疗法,随后在该医院治疗后致病情耽误病逝,2016年5月2日,国家网信办会同国家工商总局、国家卫生计生委成立联合调查组进驻百度公司进行调查并依法处理。参见:《国信办联合调查组结果:百度竞价排名影响魏则西选择百度:从6方面整改》2016-05-09,http://www.guancha.cn/economy/2016_05_09_359617.shtml,2017年8月20日访问。
(6)《欧洲通用数据保护条例》(GDPR)中在第71条明确提出了解释权,表述为被自动决策的人应该具有适当的保护,具体应包括数据主体的特别信息和获得人类干预,表达自己的观点,并且有权获得该评估决定的解释,并对决定提出质疑。
(1)See:Cook County homeowner sues Zillow for low'Zestimate',http://www.chicagotribune.com/classified/realestate/ct-re-0514-kenneth-harney-20170510-column.html,2017年12月3日访问。
(2)参见《淘宝平台服务协议全文》6.1-6.2,http://b2b.toocle.com/detail--6361764.html,2017年11月23日访问。
(1)《中华人民共和国产品质量法》第2条第2款。
(2)“for instance,debate in the UK House of Lords concerning the meaning of‘logic involved’and‘trade secrets’in the 1998 Data Protection Act:Grand Committee on the Data Protection Bil,l‘Official Report of the Grand Committee on the Data Protection Bill[HL]”(Hansard,23February 1998)’(UK Parliament-House of Lords 1998)
(3)Douwe Korf,f‘New Challenges to Data Protection StudyCountry Report:United Kingdom’(European Commission DG Justice,Freedom and Security 2010)48
(1)参见Diakopoulos N.Algorithmic accountability:Journalistic investigation of computational power structures.Digital Journalism,2015,3(3):398-415.此文中作者也提出了“algorithm power”算法权力的概念。
(1)参见新浪微博用户协议:“用户知悉并同意,微博平台有权根据技术规则通过检测验证等方式判断用户帐号所发布的信息是否为垃圾信息,并采取相关措施予以处理。”https://weibo.com/signup/v5/protocol/,以及文中提到的淘宝与支付宝的用户协议。
(1)参见《用户条款和法律文书,藏污纳垢之严重令人震惊》。其中揭示了很多知名网络平台利用用户协议躲避官司的行为。https://news.cnblogs.com/n/578564/Equifax,2017年12月6日访问。
(2)2010年5月6日早10点美国股市大跌2.5%,后到东部时间下午2点42分,股市剧烈波动后进入自由落体状态,创下了有史以来单日最大跌幅。紧接着一分钟之内又暴涨了300点。由于堪萨斯城的一位经理人的算法过快出售掉了价值40亿美元的股指期货,导致其他算法跟风。参见[美]斯坦纳:《算法帝国》,李筱莹译,人民邮电出版社2014版,第2页。