SUM_TUDY

신호처리란?시간 영역과 주파수 영역에서 데이터를 이해하고 처리하는 핵심 기술시간이나 공간에 따라 변화하는 데이터를 분석하고 변환하는 기술로 이해할 수 있음소리, 영상, 진동, 센서 등 다양한 형태의 신호에서 의미있는 정보를 추출하거나 가공하는 데 사용됨데이터를 바라보는 두 가지 관점, 시간 영역과 주파수 영역 Time Domain신호의 원래 형태를 시간에 따라서 분석하는 방식센서를 통해서 수집된 데이터의 경우에는 모두 시간 영역의 신호라고 할 수 있음시간(t)에 따라 진폭(amplitude)이 어떻게 변하는지를 파악시간 영역에서 평균값, 분산, RMS(Root Mean Square)와 같은 통계적인 특징으로 이상 탐지를 수행평균값(Mean): 신호의 중심이 어디에 위치하는지를 나타냄분산(Variance)..

Abstract최근의 연구에서는 고정 길이 임베딩 유도를 위해 랜덤 triplet 샘플링을 기반으로 하는 triplet loss formulation을 제안함triplet loss비교 기준인 anchor를 두고, positive / negative sample과 비교하는 손실함수positive와의 거리는 가깝게, negative와의 거리는 멀게 되어야 함참고링크 : https://soobarkbar.tistory.com/43논문에서 anchor, positive / negative sample의 선택 방법을 제시JUSTIFICATION논문에서 다룰 것anchor의 선택positive / negative samplingraw signal space, embedding space상에서의 탐색기여점time s..

AbstractMulti-Horizon Forecasting은 여러 날을 예측하는 경우로 사용되는 변수들은 다음과 같음시간에 따라 변하지 않는 변수 Static Covariates시간에 따라 변하는 관측 가능한 변수 Time Varying Observable Input사전 정보가 없는 외인성 변수 Exogenous Variable제안 되었던 다른 모델들은 모두 블랙박스 모델로, 해석이 불가능했음.그렇기 때문에 Attention 기반 구조를 가지고 상당한 성능을 가지며, 해석이 가능한 모델인 TFT제안JUSTIFICATION한 시점 예측이 아닌 여러 시점 예측은 다양한 분야에서 유용하게 활용 될 수 있는 문제하지만 실제 Multi-Horizon Forecasting을 위해서는 밑과 같이 다양한 변수들이 필..

Abstract대조 학습을 시계열 예측에 활용하는 것은 어려움대조학습이란, 입력 샘플 간의 비교를 통해 학습을 하는 것Embedding space 상에서 positive pair는 가깝게, negative pair는 멀게 위치하도록 학습sampling bias가 발생하지 않도록 sample을 구성하는게 중요참고) [Contrastive Learning] Contrastive Learning이란하지만 특히 시계열에서 positive pair, negative pair를 구분하는 것은 어려움잠재 공간에서 과거로부터 미래를 예측하는 것을 학습하여 시계열 예측을 개선하기 위한 간단한 표현 학습 접근법인 SimTS를 제안JUSTIFICATIONnegative pairs를 필요로 하지 않으면서, latent spa..

신뢰성무언가 잘못 되더라도 지속적으로 올바르게 동작하는 것결함과 장애 결함 : 시스템의 구성요소에서 발생할 수 있는, 잘못될 수 있는 일 내결함성 / 탄력성 : 결함을 예측하고 대처할 수 있는 경우 장애 : 시스템이 멈추어 사용자에게 필요한 서비스를 제공하지 못하는 경우 신뢰성 있는 시스템을 만드는 방법잘 설계된 추상화, API, 관리인터페이스를 통해 오류의 가능성을 최소화 하는 방향으로 시스템을 설계단위 테스트부터 통합, 수동 테스트까지 여러 방면에서 테스트를 진행복구를 빠르게 할 수 있게 하기성능 지표, 오류율과 같은 모니터링 대책 마련카오스 몽키- 넷플릭스에서 개발한 카오스 엔지니어링* 도구 중 하나로, 무작위로 시스템의 일부를 중단시켜 실제 장애 상황을 시뮬레이션하는 도구- ..

AbstractLong sequence time-series(LSTF)에서는 입-출력 사이의 장거리 의존성 커플링을 진단할 수 있는 모델이 필요함최근의 연구에서 트랜스포머가 이 잠재력을 보여주었으나, 3가지 문제점이 있음2차 시간 복잡도(quadratic time complexity)높은 메모리 사용량인코더-디코더 아키텍처의 고유한 제한 등이러한 문제를 해결하기위해 Informer를 제안Informer의 특징O(L logL)의 시간복잡도, 메모리 사용량을 가지는 Probsparse self-attention 매커니즘계단식으로 인풋을 절반으로 줄여 효과적으로 긴 인풋 시퀀스를 다룸개념적으로 단순한 generative style decoder를 이용해 긴 시퀀스 예측의 속도를 크게 향상시킴INTRODUCTI..

아직 설날 전이니 늦지 않았다고 생각해보며 적어보는! 작년회고 & 올해 목표2024 회고2024에서 가장 큰 축을 담당한건 학교와 회사라고 할 수 있어서 그 두 축을 기반으로 작성해보고자 한다. 1. 학교학교는 사실 논문 트랙이라 1학기에만 수업을 듣고 2학기에는 별 다른 게 없었다. 1학기가 정말정말 힘들었는데, 학교 수업들을 들으면서 졸업 시험도 준비해야했고 회사도 난리라서 모든걸 같이 가져가는게 난이도가 높았다. 학교 성적은 만족스럽게 마무리 할 수 있었다는 점이 그나마 다행인 점이라고 할 수 있다. 게다가 우연치않게 원우회 총무 일을 하면서 학교 행사준비에 대학원 연합에 관한 일들까지 진행해야 했다. 그 때는 인지하진 못했지만 지금 돌아보면 꽤나 정신없게 보냈던 것 같다. 2. 회사회사가 아주 격..

Attention is all you need 를 읽고 공부하며 작성한 글 입니다.Multi-Head Attention  데이터의 여러 측면에 대한 고려가 가능하도록 설계됨Scaled Dot-Product Attention을 여러 개의 헤드(병렬 어텐션 모듈)로 실행하여 다양한 시각에서 정보를 분석하도록 하는 메커니즘이후 concat 단계에서 각 헤드의 출력 벡터를 병렬로 연결하여 최종적으로 더 풍부한 정보를 가진 출력 생성하게 됨저번 글에서  언급했던 Scaled Dot-Product Attention과 동일한 계산을 수행하나, head의 수 만큼 나누어서 진행됨multi-head attention을 가장 잘 표현한 그림input이 특정 차원을 가진 임베딩 벡터로 인코딩하고, 그 임베딩 벡터를 head..

Attention is all you need 를 읽고 공부하며 작성한 글 입니다.Abstract시퀀스 모델에서 제일 많이 사용되는 모델들은 인코더와 디코더를 포함한 RNN 또는 CNN을 기반으로 하는 모델transformer는 인코더와 디코더를 어텐션 매커니즘을 이용하여 연결하여 사용함INTRODUCTION시퀀스 모델링 문제에서 RNN, LSTM, GRU등 기존의 recurrent 모델들은 이전 결과를 순차적으로 받아야 하는 특성 때문에 병렬화가 제한적임이전의 값을 처리 후 그 값을받아서 이후 값을 처리해야하는 문제그 길이가 길수록 시간, 메모리적인 부담이 증가하게 됨attention 매커니즘을 이용하여 입,출력 시퀀스 내의 거리와 상관없이 의존 관계를 효과적으로 모델링할 수 있게 되었으나 이것 마저도..

대상 논문 : https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9523565Abstract시스템의 이상 징후를 제때 탐지하면 사고를 방지하고 경제적 손실을 예방할 수 있음하지만 시간적 종속성과 변수 간의 관계를 동시에 고려해야해서 쉽지 않음특히나 도메인 집약적인 측면이 있어 도메인에 대한 지식이 필요함시계열 이상 탐지에 대한 배경과 최신 시계열 이상 탐지 모델을 검토할 예정여러 벤치마크 데이터셋을 이용항 SOTA 딥러닝 시계열 이상 탐지 모델 비교 분석딥러닝 기반 시계열 이상 탐지를 위한 모델 선택 및 훈련 전략 지침 제공JUSTIFICATION시계열 데이터에 대한 최신 딥러닝 기반 이상 탐지 방법을 검토실무자들이 해결하려는 문제에 적합한 가이드라인을..