CH 03-2. Histology Image & Weakly Supervised Learning

Histology?

Histology(조직학)는 다양한 질병의 발병기전과 진단을 이해하는 데 사용되는 조직과 세포를 현미경단위로 연구하는 학문이다. 질병의 진단을 받게 되면 기본적으로 찍는 이미지이다. 병리의학적으로 실제 병이 있는지 체크할 수 있다.

최근 정밀의료에 대한 관심이 뜨거워지고 있기 때문에 초개인화된 맞춤의학의 시대가 다가오고 있다. 개인의 Mulit-Omics 데이터를 활용하여 정밀의학을 시도하는 것을 Precision medicine이라고 한다. 이쪽으로 cancer나 기타 여러 질병들의 histoloy data들이 모아지고 있다.

WSI(Whole Slid Image)

Histology data의 특징은 크기가 정말정말 크다는 것이다. 보통 조직이나 세포를 현미경으로 찍어놓은 사진은 WSI(Whole Slide Image)라는 거대한 이미지로 저장된다. CNN에 이 데이터를 한번에 집어넣기엔 메모리 이슈로 불가능하다. 따라서 우리는 WSI를 Patch 단위로 잘게 자르는 기술로 처리할 것이다.

내가 할 모델 개발은?

Rectal cancer(직장암) 데이터를 활용해서 Rectal cancer의 subtype을 구분하도록 학습시킬것이다. CMS1, 2, 3, 4 type 이렇게 총 네가지로 나뉘는데 한번 보자고... 얼마나 정확할지…

Weakly Supervised Learning(semanitc segmentation)

이미지 학습은 크게 Classification, object detection, segmentation으로 나뉜다. 그리고 나열한 순서로 복잡성이 증가한다. 이 때, Classification 정보를 가지고 object detection을 하거나 segmentation을 하거나, obejct detection을 가지고 segmentation을 하는 것을 Weakly Supervised Learning이라고 한다. biomedical 특성상 제대로된 labelled data가 너무 비싸서 이렇게 하위 수준의 작업 결과물을 가지고 상대적으로 작은(Weakly) 정보로 학습하여 Weakly Supervised 라 부른다.

이미지 분할 문제 해결을 위한 데이터 셋 구축의 어려움

일반적으로 Image Segmentation 모형은 무수히 많은 파라미터를 가지고 있다. 작은 학습 데이터 셋으로 많은 파라미터의 최적 값을 찾기 어렵다는 것이 현실이다. 즉, 단순히 Segmentation을 바이오 메디컬 분야에 적용하는 것은 아주 비효율적이다. 또한, 정답을 생성하는 인적 리소스에 따른 이미지 이해의 차이가 있기에 검토하는 과정도 필요하여 복잡성이 증가한다.

Detection 기반으로 segmentation

detection모델의 결과를 가지고 예측 결과와 정답 데이터를 교체해가면서 segmentation 모델을 학습시킨다.

Classification 기반으로 segmentation

Classification을 기반으로 뽑아낸 “범주”에 대해서 입력 이미지마다 어떠한 범주가 존재하는지에 대한 정보만 가지고 이미지 분류 모형을 통해 Segmentation map을 생성하는 기법이다.

Multi-label Classification 문제

입력 이미지에 대해서 다중 객체 존재 여부를 예측하는 문제이다. CNN에서 출력되는 값을 시그모이드 함수에 입력하여 확률 값을 도출한다. 이 확률 값으로 범주 별 존재 여부를 예측이 가능하다. CoViD-19 classification에서 사용했던 Grad-CAM이 한번 더 명확한 근거를 제시하기 위해 사용된다.

Grad-CAM을 사용하여 특정 객체의 위치를 파악할 수 있다. 정확히 객체가 존재하는 영역을 인식하고 분류하는 것은 아니지만 확률 값과 입력 이미지를 이용해 정확히 객체 존재 영역을 탐지해야 한다.

Dense-CRF

Grad-CAM에 의해서 해당 객체가 존재하는 확률이 픽셀별로 나오게 된다. 픽셀 별 확률 값을 이미지 크기와 동일하게 확장한다. 이 확률 map을 이미지와 함께 Dense-CRF에 넣는다. 이 때, 모호한 확률들을 Dense-CRF가 실제 이미지의 픽셀정보를 확인하여 정교하게 재계산해준다.