Analyzing the dynamic changes of cellular morphology is important for understanding the various functions and characteristics of live cells, including stem cells and metastatic cancer cells. To this end, we need to track all points on the highly deformable cellular contour in every frame of live cell video. Local shapes and textures on the contour are not evident, and their motions are complex, often with expansion and contraction of local contour features. The prior arts for optical flow or deep point set tracking are unsuited due to the fluidity of cells, and previous deep contour tracking does not consider point correspondence. We propose the first deep learning-based tracking of cellular (or more generally viscoelastic materials) contours with point correspondence by fusing dense representation between two contours with cross attention. Since it is impractical to manually label dense tracking points on the contour, unsupervised learning comprised of the mechanical and cyclical consistency losses is proposed to train our contour tracker. The mechanical loss forcing the points to move perpendicular to the contour effectively helps out. For quantitative evaluation, we labeled sparse tracking points along the contour of live cells from two live cell datasets taken with phase contrast and confocal fluorescence microscopes. Our contour tracker quantitatively outperforms compared methods and produces qualitatively more favorable results. Our code and data are publicly available at https://github.com/JunbongJang/contour-tracking/
살아있는 세포 형태의 동적 변화를 분석하는 것은 줄기세포나 전이성 암 세포를 포함한 살아있는 세포의 다양한 기능과 특성을 이해하는 데 중요하다. 이를 위해서는 살아있는 세포 동영상의 각 프레임에서 크게 변형하는 세포 윤곽선에 위치한 모든 점을 추적해야 한다. 윤곽 상의 지역적인 형태와 질감은 명확하지 않으며, 세포들의 움직임은 윤곽선의 팽창과 수축을 자주 동반하여 추적하기 어렵다. 선행 기술 중 옵티컬 플로나 심층 점집합 추적은 세포의 유체성 때문에 적합하지 않으며 이전의 심층 윤곽선 추적 방법은 점 대응을 고려하지 않는다. 또한 메카니컬 모델은 세포의 텍스쳐 같은 시각적 정보를 무시하고 윤곽선의 모양만 보고 대응되는 점을 찾기 때문에 추적 정확도에 한계가 있다. 그러므로 우리는 두 개의 윤곽선 사이의 밀집된 점들의 시각적 특징들을 융합하는 교차 어텐션을 사용하여 대응되는 점을 찾는 세계 최초의 인공지능 기반 움직이는 세포의 (또는 일반적으로 점탄성 물질의) 윤곽선 추적 기술을 제안한다. 윤곽 위의 밀집된 점들을 모두 수동으로 추적하여 레이블링하는 것은 현실적으로 어렵기 때문에, 우리의 윤곽 추적기를 훈련하기 위해 윤곽의 수직 방향으로 이동하도록 점들을 강제하는 메카니컬 수직 손실 함수와 세포의 텍스쳐 같은 시각적 정보를 활용하는 순환성 손실 함수로 구성된 비지도 학습 방법을 제안한다. 정량적 평가를 위해 위상차 현미경 및 공초점 형광 현미경으로 촬영된 두 개의 살아있는 세포 데이터셋에서 세포의 희소 추적 점을 레이블링했다. 우리의 윤곽 추적기는 기존의 방법과 비교하여 정량적으로 우수한 결과를 얻었으며, 정성적으로도 더 좋은 결과를 제공한다. 우리의 코드와 데이터는 https://github.com/JunbongJang/contour-tracking/에 공개하였다.
