Deep Learning for Whole Slide Image Analysis : An Overview 리뷰

https://www.frontiersin.org/articles/10.3389/fmed.2019.00264/full

Deep Learning for Whole Slide Image Analysis: An Overview

 

개요

WSI를 gigapixel 단위에서 분석하는 연구는 계속해서 증가하고 있는 추세다. DL은 병리 분야에서 중요한 역할을 하지만, WSI의 복잡성과 이질성 및 artifact(훼손이나 왜곡) 때문에 일반적인 DL 사용에 어려움이 있다. 본 논문에서는 WSI를 수집하고 처리하는 방식과 이러한 문제를 해결하기 위한 다양한 방법론에 대해 다루고 있다.

 

WSI

1. Tissue Visualization

대부분의 조직을 시각화 하기 위해서는 염색을 해야 한다. 그중, 가장 효과적인 기법이 H&E이다. 형태를 특성화하는 것이 다른 염색 기법에 비해 탁월하기 때문에 DL에서 더 좋은 성능을 보인다. 그러나 세포와 관련된 해당 조직의 분자를 잘 보여주지 못한다.

 

H&E 염색만으로는 세포 내의 특정 분자 또는 단백질 위치를 정확하게 파악하는 것이 어렵기 때문에, immunolabeling을 이용한다. 또 Multiplexed Immunofluorescence(IF)를 이용하여 암 연구에 대한 정보를 제공할 수 있다. IF는 각각의 항체를 한번에 사용하여 단백질을 구분하는 시각화 방식을 뜻함.

 

그럼에도 이용가능한 IF WSI dataset은 여전히 제한적이다. 시약, 형광스캐너의 비용, image 1장당 10GB가 넘어가는 용량 문제가 대표적이다.

2. Data Availability

Digital pathology에서 labeled data를 얻는 것은 굉장히 어렵다. 최근 몇 년 동안, dataset이 확대되었으나, 여전히 부족함. 따라서 Supervised deep learning은 한계가 있다.

3. Image Format

현재 시장에는 brightfield와 형광 imaging 능력을 갖춘 스캐너가 많다. 여기서 스캐너는 다른 압축 유형과 크기, 조명, 목표물, 해상도를 사용하여 이미지를 캡처하며, 이미지를 다른 파일 형식으로 출력한다.

 

이러한 보편적인 image 형식의 부재는 dataset을 만드는 과정을 시연시킬 수 있다. 실제로 방사선학 분야에서는 DICOM이라는 오픈소스 파일 형식을 채택하여 문제를 해결했으나, Digital pathology에서는 아직 보편적인 파일 형식이 채택되지 않았다.

4. Artifacts and Color Variability

Artifact라는 용어를 본 논문에서 자주 사용하는데, 이는 sample을 WSI로 만드는 과정에서의 훼손이나 왜곡을 뜻한다. 이러한 Artifact에는 허혈 시간, 고정 시간, 염색 시약의 변동성, 불균일한 조명, 초점 조절, 이미지 타일링, 형광 물질의 침착 및 누출 등이 포함될 수 있다.

A는 pan-cytokeratin(green), B는 DAPI(blue), C는 CD3(yellow), D는 CD8(red), E-H는 H&E방식으로 염색되었다.

위 그림에서 Artifact의 사례를 각각 살펴보면, 아래와 같이 정리할 수 있다.

 

• A : 점선을 기준으로 좌우색의 intensity가 다름
• B : 화살표로 표시된 특정 구역의 Intensity가 너무 높음
• C, D : 초점이 맞지 않고 형광색의 artifact가 발생
• E : 화살표 표시된 부분에 이물질이 존재함
• F : 특정 부분 초점이 맞지 않음
• G : 화살표 표시된 부분이 찢어짐
• H : 화살표 표시된 부분이 절단됨

이러한 문제점을 해결하기 위한 2가지 접근방식이 존재한다.

 

1. Artifact를 image filter를 통한 제거와 색상의 변동성을 정규화 하는 방식
2. 염색되는 변동성에 대한 특징을 학습할 수 있게 합성된 data를 기존 dataset에 증강시킴 → 이후 이를 학습하게 함

 

두 방식 모두 임상 데이터에서 발생하는 artifact를 어느정도 해결했으나, 여전히 보편적이지는 않음

Deep Learning

1. Patch Extraction

Image의 부족과 용량 문제를 해결하기 위한 방법으로 patch를 이용하는 것이다. 보통 32 x 32 pixel부터 10,000 x 10,000 pixel까지의 region이며 일반적으로 256 x 256을 많이 사용함. 이렇게 patch를 선택하는 방식도 WSI의 주요 연구분야

 

어떤 level에서 labeling을 하는지에 따라 그룹이 달라지게 된다.

 

 

해당 그림은 표본을 WSI로 만드는 process이다.

 

1. 조직 1개를 여러개로 슬라이스 함(One-to-Many)
2. 각각의 슬라이스를 WSI로 만듬(One-to-One)
3. 각각의 WSI를 여러 개의 patch단위로 나누고 labeling 함(One-to-Many)

1.1 Patch Level Annotation

patch level의 annotation은 각 patch별 class가 존재하기 때문에 superviesed에 강한 이점이 있다. 그러나 각각을 domain 전문가가 직접 annotation을 해야 하기 때문에 어려움도 있다.

 

patch 기반 학습에 대한 간단한 접근방식은 모든 patch를 중첩 없이 사용하는 것인데, 이는 과도한 계산 비용과 class 불균형 및 느린 학습 시간을 발생시킨다. random sampling 역시, class 불균형을 해소하기 어렵다.

 

이를 해결하기 위한 한 가지 방법은 patch level의 annotation을 사용하는 것이다. 예를 들어, 병리학자들이 제공한 patch level의 annotation을 기반으로 정상 및 종양 영역의 patch를 추출한다. 이전 설명은 예측을 하기 위해 WSI 전체가 patch 단위로 사용된 반면, 해당 방식은 pixel의 label으로 인해 patch 자체를 예측하는 것이 가능하다.

 

성공적인 접근법은 hard negative mining을 사용하며, 이는 위양성이 추가 학습을 통해 dataset에 추가되는 학습 과정이다. 즉, patch level의 annotation이 가능한 경우에 위양성을 식별할 수 있다.

1.2 Slide Level Annotation

patch level의 annotation이 실질적으로 어렵기 때문에 WSI level에서 labeling이 이루어진다. 그러나 DL에서는 굉장히 좋은 성능을 보여줬다. 그중, 대표적으로 아래와 같은 학습 방식이 좋은 성능을 보여줌.

 

• muliple instance learning
• unsupervised learning
• reinforcement learning
• transfer learning
• 이들의 조합

 

Otus, hysteresis 또는 threshold를 WSI에 적용하여 전처리 하기도 했는데 이는 patch의 localization을 자동으로 가능하게 했다. 그러나 patch와 slide(WSI)의 level이 같은지 확인해야 함.

 

사람이 가지는 bias를 피하기 위해 비지도 학습 또는 multi-instance, 이들 조합을 활용한다. patch를 낮은 차원의 latent space로 압축하는 방식도 존재함. 압축된 WSI는 CNN으로 학습이 가능했다.

 

PCA와 ImageNet pre-trained model을 이용하여 patch를 축소하기도 했는데 이후 K-means clustering을 통해 weakly supervised 방식으로 CNN을 학습함으로써 가장 구분을 잘하는 patch cluster를 찾음.

 

그러나 이러한 압축 과정이 시각적 이해와 같은 부분을 개선시키지는 못함.

 

다른 방식으로는 patch를 더 잘 구별하기 위한 알고리즘도 존재했다. 이는 2 epoch마다 더 구분을 잘하는 patch를 선택하도록 했고, 이후 이를 input으로 사용 시, 예측 수준이 slide(WSI)를 사용했을 때와 거의 유사했다. 또 ResNet-50을 수정하여 MinMax 계층을 추가했고, 이는 어텐션의 한 종류로 2개의 class가 가장 구분이 잘되는 patch를 선택하게 한다.

 

따라서 최근 연구에서는 학습 전 patch의 특징을 추출하는 대신 어텐션 모델을 많이 사용했다. 예를 들어 2.5배 저해상도 이미지를 기반으로 10~20배 확대한 level에서의 patch를 선택하는 강화 학습 기반 모델도 존재한다.

 

또는 지도 학습 기반으로 20배 확대 level에서 5,000 x 5,000 pixel을 겹치지 않고 patch 하여 해당 patch내 다른 영역을 순차적으로 분석하는 recurrent visual attention network도 사용됨.

1.3 Patient Level Annotation

대부분의 초기 조직들은 3D(3차원) 형태로 되어있고, 그렇기 때문에 여러 개의 WSI로 자를 수 있다. 이러한 경우에는 우리가 사용할 GT는 특정 환자에 종속된다. 그러나 각각의 WSI 그렇지 않다.

 

예를 들어, 암에 걸린 환자의 조직은 반드시 양성으로 판정되지만, 그 환자의 조직을 여러개의 WSI로 만들었을 때, 암을 유발하는 조직이 특정 WSI에만 존재할 수 있다.

1.4 Aggregating to a Higher Level

대부분의 경우 patch level(low level)에서 학습을 한다. 그러나 WSI의 경우 Higt level이며, 최종 목표는 High level을 판단하는 것이다. 그렇기 때문에 patch level에서의 예측을 High level로 통합하기 위한 Aggregating이 필요하다.

 

일반적으로 단순 평균 또는 maximum(voting)을 이용된다. 전통적인 방식은 ML RNN사용되고, CNN에 의해 추출된 특징과 더 높은 level에서 이용 가능한 실제 데이터를 사용하여 학습될 수 있다.

2. Beyond Patch Extraction

patch 분석은 큰 이미지를 더 작은 영역 각각에서 분석하는 과정에서 문제가 발생한다. 가령, 세포는 patch 단위에서 확인이 가능하지만, tumor와 같은 높은 level의 정보는 큰 region이 필요하다.

 

이를 위해 patch space의 상관관계를 modeling 하는 것을 제안했으나, 소수에만 test 되고 patch 수준 label이 필요함.

 

여러 배율 level에서 patch를 추출하는 방식도 존재했다. 최근 연구는 patch와 관련된 위와 같은 문제(큰 region)를 더 큰 patch를 사용함으로써 개선하려 함.