Recent studies have been shown the potential of AI agents in daily social interactions. Google Duplex, which is new technology within an AI assistant to conduct natural conversations to complete specific tasks such as making a reservation over the phone without the user directly speaking. Gmail's smart replies, which are AI-generated responses based on the email, and an email sender can choose one of several responses generated by AI to edit or send it immediately. While AI can improve human communication abilities, it can negatively impact how humans build and maintain relationships. It is crucial to assess the AI agent's social and ethical implications in interpersonal relationships. AI practitioners and researchers need to develop a foundational empirical understanding of AI agents' impact on human relationships and behaviors to design social interactions via AI agents responsibly. Lane states that responsible technological innovation is significant design challenges of the 21st century. Microsoft launched Responsible Innovation Toolkits to help AI practitioners identify potential negative impacts of AI technologies on people and design technologies with more responsibilities. One of the toolkits is Judgment Call, a tool for industry product teams considering new technology from multiple perspectives and identifying ethical concerns based on AI principles from Microsoft. The limitations of Judgment Call include lack of understanding of various stakeholders who might be impacted by new technology, a short amount of time for participants to have critical thinking on misuse of new technology, and not proposing solutions to prevent unintended negative results. Moreover, no previous studies have been done to anticipate and address potential negative unintended social interactions via AI agents. This study developed Thought-encourager to identify potential negative unintended results of the social interactions via AI agents. Thought-encourager is designed to guide AI design researchers and practitioners to have critical thinking processes based on the user reviews developed from user scenarios of 6 expectations on the future social interactions via AI agents. Through practicing critical thinking and reflective processes, implications for the responsible design of social interactions via AI agents are proposed.
최근 연구를 통해 인공지능 에이전트를 통한 사람과 사람 간의 교류의 가능성을 보여주고 있다. 그중, 구글 듀플렉스는 인공지능 에이전트를 통해 사용자를 대신하여 상대와 통화를 통해 예약을 할 수 있다. 구글 지메일의 스마트 답장 기능은 상대에게 보낼 답장에 대해 인공지능이 답장을 작성하여 제안해주고 있다. 인공지능 에이전트의 개입으로 사람과 사람의 교류가 더 편하고 빠른 소통으로 이어질 수 있는 반면에, 사람들과의 교류와 관계 속에서 안 좋은 영향을 줄 수 있다. 그렇기 때문에, 인공지능 에이전트가 사람들 간의 관계 맺고 교류하는 방식에 어떤 영향을 미칠 수 있는지 사회적, 윤리적 고려사항에 대해 미리 논의하는 연구가 매우 필요하다. 인공지능 에이전트가 사람들 간의 관계에 어떠한 영향을 미칠지에 대해 미리 조사하는 연구를 통해, 인공지능 실무자들과 연구자들은 더욱 책임감 있는 인공지능 에이전트를 통한 사회적 교류 디자인을 할 수 있다. 마이크로 소프트에서는 책임 있는 혁신 툴킷을 제안하였고 이를 통해 인공지능 기술이 사람들에게 미칠 안 좋은 영향에 대해 미리 확인하여 책임감 있는 디자인을 하는 것을 돕는다. 마이크로 소프트에서 제안한 책임 있는 혁신 툴 중, 심판의 판정이란 툴은 인공지능 원칙을 기반으로 실무팀이 새로운 기술을 다양한 관점에서 바라보고 윤리적 문제를 파악하는 것을 돕는다. 하지만, 이 툴은 새로운 기술에 영향을 받는 다양한 이해관계자들에 대한 낮은 이해도, 비판적 생각의 부족, 해결책을 제시하지 않는 한계점이 있다. 그리고 인공지능 에이전트를 통한 사회적 교류가 낳을 수 있는 안 좋은 결과에 대해 예측하고 탐구하는 연구는 아직 되어 있지 않다. 이를 위해, 본 연구를 통해 Thought-encourager을 개발을 하여 AI 실무자들과 연구자들이 인공지능 에이전트를 통한 사람 간의 새로운 인터랙션이 미칠 안 좋은 영향에 대해 파악할 수 있도록 돕는다. Thought-encourager의 사용자 리뷰는 스터디를 통해 인공지능 에이전트를 통한 사회적 교류에서 사람들이 기대하는 6가지 인공지능 에이전트 기능을 기반으로 개발되었고 이를 통해 다양한 이해관계자들에 대한 이해를 높인다. 또한, Thought-encourager의 비판적 사고를 돕는 질문과 체크리스트를 통해, 인공지능 에이전트를 통환 사회적 교류 디자인 과정에서의 책임감을 고양시키고 이를 위해 고려해야 할 요소들을 제안하고 있다.
