SUM_TUDY

Abstract대조 학습을 시계열 예측에 활용하는 것은 어려움대조학습이란, 입력 샘플 간의 비교를 통해 학습을 하는 것Embedding space 상에서 positive pair는 가깝게, negative pair는 멀게 위치하도록 학습sampling bias가 발생하지 않도록 sample을 구성하는게 중요참고) [Contrastive Learning] Contrastive Learning이란하지만 특히 시계열에서 positive pair, negative pair를 구분하는 것은 어려움잠재 공간에서 과거로부터 미래를 예측하는 것을 학습하여 시계열 예측을 개선하기 위한 간단한 표현 학습 접근법인 SimTS를 제안JUSTIFICATIONnegative pairs를 필요로 하지 않으면서, latent spa..

신뢰성무언가 잘못 되더라도 지속적으로 올바르게 동작하는 것결함과 장애 결함 : 시스템의 구성요소에서 발생할 수 있는, 잘못될 수 있는 일 내결함성 / 탄력성 : 결함을 예측하고 대처할 수 있는 경우 장애 : 시스템이 멈추어 사용자에게 필요한 서비스를 제공하지 못하는 경우 신뢰성 있는 시스템을 만드는 방법잘 설계된 추상화, API, 관리인터페이스를 통해 오류의 가능성을 최소화 하는 방향으로 시스템을 설계단위 테스트부터 통합, 수동 테스트까지 여러 방면에서 테스트를 진행복구를 빠르게 할 수 있게 하기성능 지표, 오류율과 같은 모니터링 대책 마련카오스 몽키- 넷플릭스에서 개발한 카오스 엔지니어링* 도구 중 하나로, 무작위로 시스템의 일부를 중단시켜 실제 장애 상황을 시뮬레이션하는 도구- ..

AbstractLong sequence time-series(LSTF)에서는 입-출력 사이의 장거리 의존성 커플링을 진단할 수 있는 모델이 필요함최근의 연구에서 트랜스포머가 이 잠재력을 보여주었으나, 3가지 문제점이 있음2차 시간 복잡도(quadratic time complexity)높은 메모리 사용량인코더-디코더 아키텍처의 고유한 제한 등이러한 문제를 해결하기위해 Informer를 제안Informer의 특징O(L logL)의 시간복잡도, 메모리 사용량을 가지는 Probsparse self-attention 매커니즘계단식으로 인풋을 절반으로 줄여 효과적으로 긴 인풋 시퀀스를 다룸개념적으로 단순한 generative style decoder를 이용해 긴 시퀀스 예측의 속도를 크게 향상시킴INTRODUCTI..

아직 설날 전이니 늦지 않았다고 생각해보며 적어보는! 작년회고 & 올해 목표2024 회고2024에서 가장 큰 축을 담당한건 학교와 회사라고 할 수 있어서 그 두 축을 기반으로 작성해보고자 한다. 1. 학교학교는 사실 논문 트랙이라 1학기에만 수업을 듣고 2학기에는 별 다른 게 없었다. 1학기가 정말정말 힘들었는데, 학교 수업들을 들으면서 졸업 시험도 준비해야했고 회사도 난리라서 모든걸 같이 가져가는게 난이도가 높았다. 학교 성적은 만족스럽게 마무리 할 수 있었다는 점이 그나마 다행인 점이라고 할 수 있다. 게다가 우연치않게 원우회 총무 일을 하면서 학교 행사준비에 대학원 연합에 관한 일들까지 진행해야 했다. 그 때는 인지하진 못했지만 지금 돌아보면 꽤나 정신없게 보냈던 것 같다. 2. 회사회사가 아주 격..

Attention is all you need 를 읽고 공부하며 작성한 글 입니다.Multi-Head Attention  데이터의 여러 측면에 대한 고려가 가능하도록 설계됨Scaled Dot-Product Attention을 여러 개의 헤드(병렬 어텐션 모듈)로 실행하여 다양한 시각에서 정보를 분석하도록 하는 메커니즘이후 concat 단계에서 각 헤드의 출력 벡터를 병렬로 연결하여 최종적으로 더 풍부한 정보를 가진 출력 생성하게 됨저번 글에서  언급했던 Scaled Dot-Product Attention과 동일한 계산을 수행하나, head의 수 만큼 나누어서 진행됨multi-head attention을 가장 잘 표현한 그림input이 특정 차원을 가진 임베딩 벡터로 인코딩하고, 그 임베딩 벡터를 head..

Attention is all you need 를 읽고 공부하며 작성한 글 입니다.Abstract시퀀스 모델에서 제일 많이 사용되는 모델들은 인코더와 디코더를 포함한 RNN 또는 CNN을 기반으로 하는 모델transformer는 인코더와 디코더를 어텐션 매커니즘을 이용하여 연결하여 사용함INTRODUCTION시퀀스 모델링 문제에서 RNN, LSTM, GRU등 기존의 recurrent 모델들은 이전 결과를 순차적으로 받아야 하는 특성 때문에 병렬화가 제한적임이전의 값을 처리 후 그 값을받아서 이후 값을 처리해야하는 문제그 길이가 길수록 시간, 메모리적인 부담이 증가하게 됨attention 매커니즘을 이용하여 입,출력 시퀀스 내의 거리와 상관없이 의존 관계를 효과적으로 모델링할 수 있게 되었으나 이것 마저도..

대상 논문 : https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9523565Abstract시스템의 이상 징후를 제때 탐지하면 사고를 방지하고 경제적 손실을 예방할 수 있음하지만 시간적 종속성과 변수 간의 관계를 동시에 고려해야해서 쉽지 않음특히나 도메인 집약적인 측면이 있어 도메인에 대한 지식이 필요함시계열 이상 탐지에 대한 배경과 최신 시계열 이상 탐지 모델을 검토할 예정여러 벤치마크 데이터셋을 이용항 SOTA 딥러닝 시계열 이상 탐지 모델 비교 분석딥러닝 기반 시계열 이상 탐지를 위한 모델 선택 및 훈련 전략 지침 제공JUSTIFICATION시계열 데이터에 대한 최신 딥러닝 기반 이상 탐지 방법을 검토실무자들이 해결하려는 문제에 적합한 가이드라인을..

들어가며7기부터 참여했던 글또도 벌써 4번째 참여중이다. 10기는 마지막 기수인 만큼 유종의 미를 잘 거둘 수 있도록 하고 싶다. 반성 먼저개인적으로 글또 9기의 나는 여러모로 엉망이었다고 평가한다. 크지만 구체적인 포부를 안고 9기를 시작한다고 생각했는데, 그게 구체적이기만 하고 실행을 하지 못했다. 정말 해야 할 최소한만 한 느낌. 게다가 9기가 끝나고는 블로그에 글을 정말 한 자도 쓰지 않았다. 블로그 메인 페이지에 글이 총 10개가 노출이 되는데, 가장 마지막 글이 글또 9기를 시작하며쓴 글이다. 1년간 10개의 글도 쓰지 않은 것이다. 심지어는 패스도 다 써서 예치금에서 마이너스 되는 상황까지 발생했다. 정신이 없었던 시기이긴 하지만 챙기려면 분명 챙길 수 있었을 것이기 때문에 스스로가 조금 한..

들어가며 정신차려보니 만 2년을 꽉 채워버린 3년차 데이터 분야 종사자가 되었다. 사실 개인적으로는 데이터 분석가가 되고 싶어서 어디가서 포지션명을 언급하며 소개할때는 데이터 분석가라고 소개한다. 하지만 현재 회사에서 실제로 하는 일들을 살펴보면 '요즘 데이터 분석가' 들이 하는 일하고는 좀 차이가 있어서.....정말 내가 데이터 분석가가 맞나? 싶은 생각을 하는 것도 사실이라 일단 데이터 분야 종사자라고 이야기해봤다. 채용공고를 살펴보면, 경력직으로 올라온 공고들은 대부분 3년 이상으로 되어 있는 것을 볼 수가 있다. 최초 1년은 업무를 파악하고, 2년 째에는 업무에 익숙해지는 시간을 가졌으니, 3년부터는 쓸만한 한 명의 인력으로 인정받기 때문인 것 같다. 그렇다면 지금 나는 업무에 익숙해져서- 쓸..

딥러닝을 하려고 하면 기본적으로 선형대수를 포함한 수학적인 기초도 있어야 하고, 통계도 물론 알아야 합니다. 게다가 이론적인 부분에서 벗어나 실제로 모델을 구현하려고 하면 코드를 작성해야 하기 때문에 프레임워크에 대한 내용도 종합적으로 알아야 합니다. 공부를 시작한 사람들은 아마 다들 조금씩은 부분적으로 '찍먹'을 해 보았을 것 같은데요. 그렇게 배운 지식들은 제 경험상으로는 아주 조각조각나서 여기서 배운 지식이 뒤에서 어떻게 쓰이는지 이해가 되지 않을 때가 많았습니다. 필요성을 느끼지 못하면 정말 하기 싫다고 생각하는 성격이라 대학교 시절에 '선형대수학'과목을 들으면서 교수님께 통계학과인데 선형대수학이 왜 필요하냐(!)라는 질문을 던지기도 했었는데요. 뒤늦게 어디서 어떻게 쓰이는 지 알게 되었는데, 미..