Large Language Models (LLMs) enable non-AI expert designers to rapidly prototype AI functions through natural language. However, there is a limited understanding of how designers incorporate their design knowledge and considerations of potential end-users while prototyping AI features through prompt engineering. We conducted a design workshop where participants envisioned and implemented novel AI functionalities using GPT-3. Our findings indicate that designers consider how end-users might interact with the AI features in a real-world context. From these insights, this paper suggests the potential of a supportive agent that automatically analyzes prompts, identifies potential issues, and suggests revisions. To demonstrate the value and feasibility of the agent, we present five key use cases that help designers, including clarifying ambiguous expressions, testing their prototypes with diverse input values, and simulating the experience of potential end-users. Notably, within these use cases, we have developed an LLM-based agent that serves two primary purposes: facilitating prompt evaluation by testing it with diverse input values and simulating the user experience for potential end-users. We conducted a preliminary study to assess the quality of information provided by the agent and explore improvements in the interaction. Our findings indicate that the agent effectively reduces the cognitive load during prompt testing and user experience envisioning. However, there is still room for enhancing the agent's controllability and the relevance and coverage of its suggested information. In light of these findings, this paper also delves into the role of LLMs in the context of AI prototyping.
대규모 언어 모델은 프롬프트를 활용하여 디자이너들이 빠르게 인공지능 프로토타입을 개발할 수 있게 한다. 그러나 이 프로토타입 과정에서 디자이너가 디자인 지식과 잠재적 사용자의 고려 사항을 어떻게 반영해야 하는지에 대한 이해가 부족하다. 우리는 디자이너들이 전자 상거래를 위한 인공지능을 상상하고 프롬프트를 통해 이를 구현하는 디자인 워크샵을 진행했다. 그 결과, 디자이너들은 대규모 언어 모델의 능력 이해뿐만 아니라 사용자가 인공지능과 어떻게 상호 작용하는지 고려하는 것에 어려움을 겪는 것을 발견했다. 이를 바탕으로, 프롬프트를 분석하고 잠재적 문제를 식별하여 수정하는 에이전트를 제안한다. 에이전트 시연을 위해 다음 다섯 가지 주요 사용 사례를 제시했다: 프롬프트 재구성, 디자이너 오해 해소, 모호한 표현 명확화, 다양한 입력값으로 프로토타입 테스트, 잠재적 사용자 경험 시뮬레이션. 이 중 프롬프트 테스트와 잠재적 사용자 경험 시뮬레이션 기능을 개발하고, 이러한 기능의 유용성을 평가하기 위한 예비 연구를 수행했다. 그 결과, 에이전트는 프롬프트 테스트와 사용자 경험 예상 부담을 줄이지만, 상호 작용 방식과 정보 제안 다양성 개선의 가능성을 확인했다. 이러한 결과를 고려하여, 논문은 대규모 언어 모델의 인공지능 프로토타이핑에서으 역할에 대한 논의를 제시한다.
