Time Series Data Augmentation for Neural Networks by Time Warping with a Discriminative Teacher - 논문 공부(1)

1. Introduction

1.  많은 양의 데이터가 필요한 이유

 인공 신경망이 보편화 되고, 많은 분야에 걸쳐 최첨단 benchmark를 설정하고 있다. 최근에 인공 신경망이 성공하고 있는 이유는 data의 가용성과 이를 서포트해주는 하드웨어의 성장에 덕분이다. 많은 양의 데이터는 generalization과 많은 machine learning model들의 accuracy를 높여준다.

 하지만 image 영역에서 time series dataset은 비교적 매우 작다. 따라서 현대의 machine learning method들의 잠재력을 많이 사용하기 위해서는 time series classification data가 필요하다.

 

2.  Augmentation이란

 이 문제를 해결하기 위한 한가지 방법이 data augmentation을 사용하는 것이다. Augmentation은 흔한 data-space solution으로, 인조적인 pattern들을 사용해 training dataset을 늘려 machine learning model의 generalization ability를 상승시킨다. 또한 overfitting을 줄이고 model의 decision boundary를 확장시킨다.

 Image를 위한 Data augmentation은 특히 신경망과 결합되어 잘 연구된 분야이며, Image classification 분야에서는 대부분 일반적인 관행이 되었다.

 

3.  Time Series data에서의 augmentation

 확립된 Time series augmentation method들이 상대적으로 적고, 대부분 일반적으로 image recognition의 영향을 받았기다. 때문에 일반적으로 단순한 transformation(jittering, scaling, rotation, etc.)에 의존한 방법들이다. Time series는 image와 다른 property들을 갖기 때문에 이 방법들은 모든 time series에 적용 가능하지 못할 수 있다.

 몇가지 time series의 특정한 data augmentation 방법(magnitude warping, time warping)들이 존재하는 반면, 근본적인 data의 pattern이 있다는 가정하에 여전히 random trainsformations이다.

 

4.  제안

 Augmentation에 기반을 둔 새로운 pattern mixing의 사용을 제한한다. 두 time series 사이의 feature를 맞추기 위해 DTW(Dynamic Time Warping)가 사용된다. 그리고 element-wise alignment 대신 shapeDTW를 사용함으로써 dynamic warping이 더욱 향상될 수 있음을 입증한다.

 

 더 나아가, 어떤 reference time series를 선택하느냐에 대한 의문이 드는데, 최고의 전략이 필연적이지 않다는 것을 보여주고, 선택을 위한 discriminator 사용 방법의 novel method를 제안한다.

 Discriminator에 의해 선택된 reference pattern을 discriminative teacher하 하고, 같은 class의 pattern과 다른 class의 patten 사이의 최대 거리를 가진 bootstrap set 내에서 sample을 찾아 결정한다. 이 논문에서는 작은 batch의 무작위 sample에서 간단한 가장 가까운 centroid classifier를 사용한다.

 

Random teacher 보다는 discriminative teacher 사용하면 quided warping이 classifier를 지원하는 pattern을 고르도록 할 수 있다.

 

 

2. Related Work

1. 

 아래의 방법들은 약간의 변형을 주는 방법으로 다양한 time-series에서 사용된다.

• jittering : noise addition
• rotation : flipping (하나의 변수), rotation (다수의 변수)
• slicing : 자르기
• permutation : slice 재정렬
• scaling : magnitude 변화
• magnitude warping : 원소별로 magnitude 변화
• frequency warping : 주파수 변형

 

2. Pattern mixing