Currently, computation demands in mobile devices grow rapidly with the advance of various vision applications. However, power system cannot follow up ever-increasing computation necessity. In this sense, processing visual data becomes crucial concern for the devices in resource poor environment. In addition, several mobile applications have low latency requirement to generate information from vision processing for adequate responses. Therefore, fast and energy efficient vision accelerator is strongly necessary.
Among many vision problems, image segmentation is one of the basic processing techniques utilized for not only semantic observations but also more complex vision algorithms like object classification or tracking. In order to handle the problem, numerous algorithms and architectures have been suggested. Graph cuts algorithm is promising and widespread algorithm for image segmentation, image denoising, and stereo matching. It is based on the max flow/min cut theorem which states that the maximum flow in network is equal to the minimum cut solution. By exploiting the analogy from the graph cuts to electric current, approx-imate solutions of graph cut algorithm can be achieved in fast and energy efficient manner.
In this work, we discuss some observations of graph cuts and resistor networks, then propose hard-ware efficient cut extraction schemes using simple voltage comparison. Resistor grid is generated by trans-forming segmentation problem into network graphs consisting of resistors and switches. Resistors role as edg-es connecting nodes (pixels), and switches give segmentation seeds of desired images. After the data trans-mission of the given image, resistor grid starts to flow currents over the resistors. When the currents becomes stable, the voltage distributions of all nodes show implication to the graph cuts solution. Approximation based on some observations allows us to use voltage threshold to divide images into the background and the foreground.
To implement the algorithm, 64 by 64 prototype circuit using 65nm CMOS technology is designed. Most of the circuits are composed of resistors to construct the programmable grid for the image segmentation problem. And, cut extraction block using proposed scheme is attached to each resistor rows to efficiently exe-cute segmentation process.
Using public GrabCut benchmark, verifications of circuit evaluations are performed. As a result, we can ascertain low-latency and energy efficient image segmentations with acceptable accuracy. Speed effi-ciency is 4.57 times faster than other image segmentation works. Moreover, energy efficiency is 9.11 times better when compared to other image/video segmentation papers.
컴퓨터 비젼 알고리즘의 급격한 발전과 함께 모바일 환경에서 사용하는 비젼 알고리즘이 소모하는 연산량이 끊임 없이 증가하고 있다. 그럼에도 불구하고, 소모되는 파워를 서포팅하기 위한 파워 시스템은 연산량의 증가를 따라가지 못하는 상황이다. 그런 관점에서 리소스가 제한적인 환경에서 효과적으로 이미지 정보를 처리하는 연구가 필요하다. 또한, 몇몇 어플리케이션에서는 파워뿐만 아니라 프로세싱 속도도 주요 관심사가 된다. 특히, 정보에 근거해 판단을 내리는 스마트 기기들의 경우에는 어떤 정보를 입력 받았을 때, 얼마나 빠른 판단을 내리느냐가 중요한 성능 판단 요인이 된다.
이미지 비젼 문제들 중에서, 이미지 분할 문제는 대부분의 비젼 알고리즘에서 기본적인 요소로 사용되는 어플리케이션이다. 이미지 분할은 단순히 semantic 관찰을 편이하게 해주는데 사용될 뿐만 아니라 물체 추적이나 분류와 같은 좀 더 복잡한 비젼 알고리즘에서도 사용할 수 있다. 이 문제를 효과적으로 해결하기 위해서 수많은 연구들이 제안되었다. Graph cuts는 그 중에서도 효과가 인정되었으며, 여러 분야에 널리 응용되고 있는 알고리즘이다. 이 방법은 max flow/min cut 정리에 기반을 두고 있는데, 임의의 flow가 존재하는 네트워크에 대해 최대의 flow가 흐르는 상황은 네트워크를 구성하고 있는 연결 엣지들을 최소한의 비용으로 끊는 경우와 동일하다는 것이다. Graph cuts와 이런 flow 개념은 전기적 전류의 개념으로 생각하여 처리할 수 있다.
본 연구에서는 graph cuts와 저항 격자에 대한 몇 개의 관찰을 바탕으로 하드웨어로 구현하기에 용이한 graph cut extraction 방법을 제안하고, 이를 실제 회로로 구현하여 에너지 효율적이고 빠른 처리 속도를 보이는 하드웨어 솔루션을 제안하고자 한다. Graph cuts에서 있는 weight 개념은 저항 격자에서 전류의 전도도로 생각할 수 있다. 또한 각 node들이 연결되는 Source나 ground는 전기적 개념에서 voltage source와 ground로 볼 수 있을 것이다. 이런 점을 활용하여 graph cuts 상황을 모사한 프로그램 가능한 저항 격자 구조를 만들고, 각 이미지를 저항 격자에 적용하여 해결하였다.
공개된 GrabCut 벤치마크를 사용하였을 때, 이 방법으로 시뮬레이션한 결과, 비교 기준 데이터에 비해 거의 에러가 증가하지 않음을 관찰할 수 있었다. 또한, 제안된 연구를 실제로 구현한 회로는 다른 이미지 분할 연구에 대비해서 에너지 효율성에서는 9.11배, clock 효율성 측면에서는 4.57배의 개선을 보여주었다.
