Text generation models based on autoregressive transformer models have been instrumental in advancing applications such as chatbot systems and virtual assistants. When the model generates text with multiple batching, the key/value pairs used in the attention mechanism cannot be shared, thus leading to prolonged execution time. As the attention mechanism is memory bounded, off-chip memory accesses should be minimized for faster execution.
Although previous methods reduced the off-chip memory accesses regarding unimportant tokens, they fall short in selectively removing the negligible tokens in each instance. Rather, this dissertation estimates the weight using bit chunks of K vectors, effectively removing the memory accesses for low weight tokens and achieving an $12.1x$ pruning ratio without fine-tuning. Additionally, this dissertation present consecutive bit chunk request that prevents the underutilization of Processing Elements (PEs) induced by on-demand DRAM access. Finally, a dedicated hardware equipped with PEs and auxiliary modules is designed, which supports the proposed methods. As a result, it shows $2.6x$ reduced memory accesses, leading to an average $2.3x$ speedup and a $2.4x$ energy efficiency.
자동 회귀 트랜스포머 기반 텍스트 생성 모델은 챗봇 시스템, 가상 비서와 같은 어플리케이션을 발전시키는 데 중요한 역할을 하고있다. 모델이 여러 요청들을 배칭하여 텍스트를 생성할 때, 어텐션 메커니즘에서 사용되는 키/밸류 쌍들은 공유되지 않고, 이것은 지연된 실행시간을 유발한다. 어텐션 메커니즘은 메모리 성능에 의해 병목현상이 나타내므로, 더 빠른 실행을 위해서는 오프-칩 메모리 접근이 최소화 되어야 한다.
이전 방법들은 중요하지 않은 토큰들을 제거하는 방식을 제안하였지만, 각 인스턴스에서 0에 가까운 어텐션 가중치를 가진 토큰들을 선택적으로 제거하지 못해 비효율성이 나타난다. 본 학위 논문에서는 소프트맥스 함수 전에 키 벡터의 일부 비트 만으로 토큰의 가중치를 추정함으로써, 낮은 가중치를 가진 토큰들을 효과적으로 제거하고, 추가적인 미세 조정 없이 12.1배의 토큰 제거 비율을 달성할 수 있었다. 또한, 필요할 때마다 데이터를 접근할 때 발생하는 접근 지연시간을 효과적으로 감추는 방법을 제안하였다. 마지막으로, 이러한 최적화를 뒷받침하는 하드웨어를 설계하였다. 결과적으로, 본 연구는 알고리즘의 성능을 유지한 채 메모리 접근을 평균적으로 2.6배 줄이며, 평균 2.3배의 속도 향상과 2.4배의 에너지 효율성을 보여준다.
