The contemporary surge in e-commerce activity has precipitated a complex digital marketplace teeming with both visual and textual content. This study addresses the intricate dynamics between these two modalities and their impacts on consumers' information processing and purchasing behaviors. Anchored in the burgeoning e-commerce domain, this research, with a particular focus on a major South Korean fashion e-commerce platform, parses a vast dataset encompassing over 15 million transactions and 705,056 images. Employing fixed effects regression analysis, the study investigates the influence of image and text information on sales volume. The transfer learning-based computer vision framework is designed to dissect the contributions of three image types, categorized based on object-level complexity. Additionally, utilizing the pre-trained language model, this study examines the extent of textual information to discern their individual and interactive effects on consumer purchase decisions. Furthermore, the research delves into the image-text interplay, examining the role of machine-extracted features in information processing, as guided by the Elaboration Likelihood Model (ELM). It categorizes textual information based on its redundancy with visual information and explores the differential effects of visual object-level complexity. These effects are contingent on product brand status and the degree of consumer involvement. This approach offers insights into the distinct ways consumers engage with and process multi-modal information in an e-commerce setting. The findings of this study contribute to a deeper understanding of digital consumer behavior, highlighting the pivotal role of multi-modal information processing in the online shopping landscape. This work elucidates the complex interrelations between visual and textual cues and provides a framework for e-commerce platforms to optimize content strategies, enhancing consumer engagement and sales.
현대 사회에서 전자 상거래 플랫폼 내에서의 활동이 급증하며 많은 양의 시각적 콘텐츠와 텍스트 콘텐츠를 동시에 제공하는 복잡한 디지털 시장이 형성되었다. 이 연구는 이 두 가지 정보 형태 사이의 복잡한 상호관계성과 소비자의 정보 처리 및 구매 행동에 대한 그들의 영향을 다룬다. 이 연구는 급성장하는 전자상거래 영역에 기반을 두고 있으며, 특히 한국의 주요 패션 전자상거래 플랫폼에 초점을 두고 1,500만 건 이상의 거래와 705,056개의 이미지를 포함하는 방대한 데이터 세트를 분석하였다. 또한, 이 논문 고정 효과 회귀 분석을 사용하여, 이미지와 텍스트 정보가 판매량에 미치는 영향을 조사하였다. 전이학습 기반의 컴퓨터 비전 프레임워크는 이미지 내 객체 수준의 복잡성에 따라 분류된 세 가지 이미지 유형의 기여도를 분석하기 위해 설계되었습니다. 또한, 심층학습 기반의 사전훈련된 자연어 처리 모델을 사용하여 텍스트 정보가 소비자 구매 결정에 미치는 개별적 영향과 상호 작용 효과를 식별하기 위해 범위를 분석하였다. 더 나아가, 이 연구는 정교화 가능성 모델따라 정보 처리에서 기계 추출 특성의 역할을 분석하면서 이미지-텍스트 상호 작용을 탐구한다. 이러한 상호작용은 시각적 정보와의 중복성을 기반으로 텍스트 정보를 분류하고 시각적 객체 수준 복잡성의 차별적 효과를 분석함으로써 유의한 결과를 제시한다. 또한, 분석 결과가 제시하는 효과는 제품 브랜드 상태와 가격대에 기반한 소비자 참여도에 따라 다른 방향성 가진다. 이 접근 방식은 전자 상거래 환경에서 소비자가 다중 모달 정보를 활용하고 처리하는 다양한 방식에 대한 통찰력을 제공한다. 특히 연구의 결과는 온라인 쇼핑 환경에서 다중 모달 정보 처리의 중요한 역할을 강조하면서 디지털 소비자 행동을 더 깊이 이해하는 데 기여한다. 결론적으로, 이 논문은 시각적 및 텍스트 단서 사이의 복잡한 상호 관계를 명확히 하며, 전자상거래 플랫폼이 콘텐츠 전략을 최적화하여 소비자 참여와 판매를 향상시키는 프레임워크를 제공한다.
