Artificial intelligence (AI) systems are becoming pervasive in high-risk environments. Some prominent examples include the use of AI in the legal, medical, hiring, and transportation domains. These algorithms, however, are far from perfect. Algorithms deployed in the real world have shown discriminatory tendencies against racial and gender minorities, and self-driving cars have even caused the death of pedestrians. A natural question that arises is who should be held responsible when AI systems cause harm to individuals. Scholars contend that the technological and organizational complexity involved in developing and deploying AI in high-risk scenarios makes determining who is responsible difficult, if not impossible, creating a ''responsibility gap.'' One of the sources of this gap is the opacity of current AI systems. Users, policymakers, and even developers do not understand how algorithms make decisions, making it difficult to identify the root cause of the harm. This limitation has fueled research on Explainable AI (XAI), which attempts to develop systems that provide explanations for their decisions and actions, helping to establish who is responsible for AI-caused harm.
In contrast to the prevalent perspective that XAI could help bridge the responsibility gap in the context of algorithmic decision-making, I argue that algorithms providing post-hoc explanations could complicate the search for a responsible entity. I first show how post-hoc explanations could create the perception that AI systems (i.e., decision-making algorithms) and those subjected to algorithmic decisions (i.e., patients) are responsible when things go wrong. This perception can be exploited by AI developers, who can use these mistaken intuitions to escape deserved responsibility by using algorithms and patients as scapegoats. I then present three empirical studies (N = 1,153) exploring whether providing simple post-hoc explanations impacts the extent to which laypeople blame AI systems, their users, and developers for AI-caused harm. The findings suggest that while explainability alone does not affect folk perceptions of responsibility, specific types of explanations influence whom laypeople blame for AI-caused harm. I also explore what determines laypeople's blame judgments of AI and show that moral judgments of algorithms have unique features that are not found in judgments of human actors. Finally, I discuss how the control that developers have over explainable algorithms may allow them to implement specific post-hoc explanations that shift perceived responsibility to other actors, potentially impacting how AI is regulated. I show how this conflict between explainability and responsibility may be dealt with during the development of AI systems and defend hard regulation to prevent scapegoating.
인공지능(AI) 시스템은 고위험 환경에 널리 적용되고 있다. 법률, 의료, 고용 및 운송 분야에서 AI를 활용하는 것이 대표적ㅣ 예시이다. 그러나 이러한 알고리즘은 완벽하지 않다. 현실 세계에 배치된 알고리즘은 인종과 성소수자에 대한 차별적 성향을 보였고, 자율주행차는 보행자의 사망까지 초래했다. AI 시스템이 개인에게 해를 끼칠 때 누가 책임을 져야 하는가 하는 것은 자연스럽게 제기될 수 있는 문제이다. 학자들은 고위험 시나리오에서 AI를 개발하고 배치하는 데 수반되는 기술적, 조직적 복잡성으로 인해 책임자를 결정하는 것이 불가능하지는 않더라도 “책임 격차“를 발생시킨다고 주장한다. 이 격차의 원인 중 하나는 현재 AI 시스템의 불투명성이다. 사용자, 정책 입안자, 그리고 심지어 개발자 조차도 알고리즘이 어떻게 결정을 내리는지 이해하지 못하기 때문에 해악의 근본 원인을 식별하기가 어렵다. 이러한 제한은 그들의 결정과 행동에 대한 설명을 제공하는 시스템을 개발하려고 시도하는, 설명 가능한 AI(XAI)에 대한 연구에 박차를 가하여 AI가 초래한 위해에 대한 책임을 규명하는 데 도움이 되었다.
XAI가 알고리즘 의사 결정의 맥락에서 책임 격차를 해소하는 데 도움이 될 수 있다는 일반적인 견해와 달리, 본 연구는 사후 설명을 제공하는 알고리즘이 책임 주체에 대한 탐색을 복잡하게 할 수 있다고 주장하고자 한다. 먼저 본 연구에는 사후 설명이 AI 시스템(즉, 의사 결정 알고리즘)과 알고리즘 의사 결정의 대상이 되는 사람들(즉, 환자)이 일이 잘못될 때 어떻게 책임이 있다는 인식을 만들 수 있는지 보여준다. 이러한 인식은 알고리즘과 환자를 희생양으로 사용함으로써 마땅한 책임을 면하기 위해 이러한 잘못된 직관을 사용할 수 있는 AI 개발자에 의해 이용될 수 있다. 그런 다음 간단한 사후 설명을 제공하는 것이 일반인들이 AI로 인한 해를 AI 시스템, 사용자 및 개발자에게 돌리는 정도에 영향을 미치는지 여부를 탐구하는 세 가지 경험적 연구(N = 1,190)를 제시한다. 조사 결과과 시사는 점은, 설명 가능성만으로는 책임에 대한 민간 인식에 영향을 미치지 않지만, 특정 유형의 설명이 일반인들이 AI로 인한 피해를 누가 탓하는지에 영향을 미친다는 것다. 또한 본 연구는 무엇이 AI에 대한 일반인들의 비난 판단을 결정하는지 탐구하며 알고리즘의 도덕적 판단이 인간 행위자의 판단에서 발견되지 않는 독특한 특징을 가지고 있음을 보여준다. 마지막으로, 과도하게 설명 가능한 알고리즘에 대한 개발자의 통제가 어떻게 책임을 다른 행위자에게 이전하는 특정-사후-설명을 구현하여 AI가 규제되는 방식에 잠재적으로 영향을 미칠 수 있는지 논의한다. 본 연구는 AI 시스템 개발 과정에서 이러한 설명과 책임의 갈등이 어떻게 처리될 수 있는지 보여주고 희생양을 막기 위해 엄격한 규제를 옹호한다.
