전체 글 74

[인생 회고] 들어가며, 경영학과가 정보통계학과를 복수전공한 이유

들어가며 정신차려보니 만 2년을 꽉 채워버린 3년차 데이터 분야 종사자가 되었다. 사실 개인적으로는 데이터 분석가가 되고 싶어서 어디가서 포지션명을 언급하며 소개할때는 데이터 분석가라고 소개한다. 하지만 현재 회사에서 실제로 하는 일들을 살펴보면 '요즘 데이터 분석가' 들이 하는 일하고는 좀 차이가 있어서.....정말 내가 데이터 분석가가 맞나? 싶은 생각을 하는 것도 사실이라 일단 데이터 분야 종사자라고 이야기해봤다. 채용공고를 살펴보면, 경력직으로 올라온 공고들은 대부분 3년 이상으로 되어 있는 것을 볼 수가 있다. 최초 1년은 업무를 파악하고, 2년 째에는 업무에 익숙해지는 시간을 가졌으니, 3년부터는 쓸만한 한 명의 인력으로 인정받기 때문인 것 같다. 그렇다면 지금 나는 업무에 익숙해져서- 쓸만한..

[서평] 기초 이론부터 최신 트렌드까지, 딥러닝의 정석 2판

딥러닝을 하려고 하면 기본적으로 선형대수를 포함한 수학적인 기초도 있어야 하고, 통계도 물론 알아야 합니다. 게다가 이론적인 부분에서 벗어나 실제로 모델을 구현하려고 하면 코드를 작성해야 하기 때문에 프레임워크에 대한 내용도 종합적으로 알아야 합니다. 공부를 시작한 사람들은 아마 다들 조금씩은 부분적으로 '찍먹'을 해 보았을 것 같은데요. 그렇게 배운 지식들은 제 경험상으로는 아주 조각조각나서 여기서 배운 지식이 뒤에서 어떻게 쓰이는지 이해가 되지 않을 때가 많았습니다. 필요성을 느끼지 못하면 정말 하기 싫다고 생각하는 성격이라 대학교 시절에 '선형대수학'과목을 들으면서 교수님께 통계학과인데 선형대수학이 왜 필요하냐(!)라는 질문을 던지기도 했었는데요. 뒤늦게 어디서 어떻게 쓰이는 지 알게 되었는데, 미..

독서/서평 2024.03.31

[Anomaly detection] Isolation Forest

Anomaly detection이란? 데이터에서 예상치 못한 패턴, 예상 범위를 벗어나는 이상점 등을 탐지하는 것 이상거래 탐지, 고객이탈, 설비예지 등으로 활용될 수 있음 대부분의 경우 정상 데이터와 비정상 데이터가 불균형하게 이루어져 있다는 특징이 있음 보통의 머신러닝 태스크 들과 동일하게 지도 / 비지도 / 반지도 학습으로 분류됨 Supervised 정상, 비정상에 대한 라벨링이 되어 있어 두 정보를 모두 활용 가능한 경우 사용 Unsupervised 레이블이 없는 데이터만을 가진 경우 사용 분포나 밀도를 기반으로 정상, 비정상 데이터를 구분 Semi Supervised 데이터가 정상 데이터만 있는 경우 사용 정상 데이터만을 사용하여 학습을 하고, 학습된 특징과 부합하지 않는 경우 이상으로 탐지 I..

AI 2024.03.14

[Azure] Data Factory란? 기본 사용 방법

클라우드 컴퓨팅 시스템이란? 인터넷을 통해 다양한 IT 리소스와 서비스를 제공하는 플랫폼 대규모 데이터 센터에서 운영되는 컴퓨터, 스토리지, 네트워킹 등의 하드웨어 및 소프트웨어 리소스를 가상화하고 인터넷을 통해 사용자에게 제공하는 서비스 대표적으로는 Amazon Web Services (AWS), Microsoft Azure, Google Cloud Platform (GCP) 등이 있음 장점 탄력성과 확장성 : 컴퓨팅 리소스의 확장, 축소 등 변동에 대한 반영 빠름 경제적 : 사용한 만큼에 대한 요금이 부과되는 형태, 초기 비용관리 쉬움 글로벌 엑세스 : 전세계 어디에서나 안정적인 서비스 엑세스 가능 단점 보안 우려 : 데이터가 외부에 저장되기 때문에 올바른 보안 조치가 필요 인터넷 연결 필요 : 인터..

Cloud 2024.03.03

[글또 9기] 나의 글쓰기 파이프라인과 기존 글 수정하기

들어가며 성윤님께서 진행하시는 글쓰기 세미나를 들었다. 해당 내용을 간단하게 정리하고 실제 나는 어떻게 글을 작성하고 있는지, 어떻게 개선할 수 있는지에 대해서 작성해보려고 한다. 사실 글쓰기 세미나는 1월 중순에 진행되었었는데 글쓰기 세미나 2회차가 진행전에 부랴부랴 글 쓰는 회피형...이제는 구정도 지나 정말 새해이기 때문에 정말 올해 개선 목표로 회피성향 고치기를 꼭 해봐겠다는 생각도 다시금 들었다. 글쓰기 세미나 1회차 성윤님이 글쓰기 세미나를 진행한 목적은 글또에 참여하는 사람들이 기술 블로그를 더 잘 작성할 수 있도록 실행할 수 있는 액션 아이템을 만들 수 있는 계기 자신만의 글 작성 파이프라인을 만들기 이렇게 세 가지라고 명시하셨다. 수강하는 사람들로 하여금 '액션아이템'을 선정해서 '행동'..

[Python] sqlalchemy Attributeerror: 'engine' object has no attribute 'cursor' 에러 해결하기

engine_dm_db = sa.create_engine(AccessConfig().get_dm_db_connection_string()) df_unique_device = pd.read_sql(query, engine_dm_db) 이 코드를 작성해서 mssql에 있는 데이터를 가져오려고 했다. sqlalchemy를 이용해서 연결을 했는데, 실제 실행하려고 하니 Attributeerror: 'engine' object has no attribute 'cursor' 라는 오류가 난다 시도해 본 방법들 create_engine한 다음에 그 객체에 .connect()추가 이 경우에는 connect에 cursor가 없다는 AttributeError: 'Connection' object has no attribu..

Python/오류해결 2024.01.25

[Python] Streamlit이란? Streamlit 기초 및 사용 상 장단점

이번에 프로젝트를 하면서, 결과를 Streamlit을 통해 웹사이트 형태로 제공을 하게 되었다. 그래서 Steamlit에 대한 기본 내용과, 사용해 본 소감등을 정리해보려고 한다. 이런 분들께 도움이 될 것 같아요. 웹으로 서비스를 제공해야 하는데 인력 부족으로 어떻게 해야 할 지 고민이신 분 Streamlit을 통한 서비스를 고민하고 계신 분 Streamlit이란? Python 기반의 오픈 소스 라이브러리 Python 스크립트를 통해 데이터 시각화, 대화형 웹 애플리케이션, 대시보드 등을 손쉽게 만들 수 있음 공식 사이트에서는 "A faster way to build and share data apps"라고 말하며, 데이터 애플리케이션을 구축하고 공유하는 가장 빠른 방법을 제공한다고 함 웹사이트 구축에..

Python/일반 2024.01.21

[자격증] 2024 ADP, 정보처리기사, 빅데이터분석기사 자격증 필기,실기 시험 일정 정리

항상 조각조각 나있고, 찾기도 힘든 데이터관련 자격증들 시험 접수 일정을 모아봤다. ADP필기까지는 땄었는데, 게으름 부리다가 돈만 날리고 필기는 만료됐다. 하하하! 그리고 ADP랑 어느정도 비슷하니까 빅분기도 같이 하면 좋을 것 같고 정처기도 예전에 시도했었는데 사실 데이터 분석가에게 많이 필요하지 않은 것 같아서 냅두었는데 나중에 정보관리기술사(정보처리기술사)를 고려해보면 좋을 것 같아서 일단 따놓으려고 한다. ADP 데이터분석전문가 내가 볼 수 있는 시험 일정은 ADP 32회 필기 접수기간 : 1월 22일 오전 10시 ~ 26일 오후 6시 시험일 : 2월 24일 ADP 32회 실기 접수기간 : 3월 22일 오전 10시 ~ 29일 오후 6시 시험일 : 5월 24일 ADP 33회 필기 접수기간 : 7월..

[시계열] 시계열 데이터의 패턴과 성능 평가, 이동 평균으로 간단 예측하기

시계열 데이터란?시간의 흐름에 따라 기록된 데이터일정한 시간 간격에 의해서 기록된 시계열도 있고, 그렇지 않은 시계열도 존재함 시계열 분석의 활용 분야forecasting : 데이터를 기반으로 향후 수치를 예측imputation : 과거의 비어있는 데이터를 채움detect anomalies : 정상 패턴과 다른 형태를 나타내는 이상치를 탐지spot pattern : 데이터 내 특정 패턴을 감지 시계열 데이터에서 자주 나타나는 패턴 현실에 존재하는 시계열은 각 경우들을 조금씩은 가지고 있음추세가있는 경우Trend데이터가 증가하거나 감소하는 등 특정 방향으로 움직이는 경우꼭 선형적일 필요는 없음 계절성이 있는 경우Seasonality패턴이 예측 가능한 간격으로 반복될 때 관측되는 것일정한 빈도로 발생 가능한..

AI/시계열 2024.01.07

[글또 9기] 글또 9기를 시작하며

들어가며 글또에 벌써 3번째 참여를 하게 되었다. 무언가를 새롭게 시작할 때마다 정말 내가 이걸 잘 끝낼 수 있을지 걱정되고 긴장된다. 하고 싶은 것 1. 더 많은 이들과의 적극적 교류 7기에서는 큰 교류를 하지 않고 글을 작성해서 제출하는 것에 의의를 두었다면, 8기에는 여러 스터디들을 참여하고 정해진 부분 외의 커피챗들을 진행하면서 다양한 사람들을 만났다. 그러면서 내가 글또라는 커뮤니티를 7기에는 잘 이용하지 못했구나 하는 부분을 느낄 수 있었다. 그래서 9기에는 다양한 직군의 열정넘치는 사람들이 모인다는 글또에 조금 더 깊게 참여하고자 운영진에 지원했다. 중,고등학교 때에는 나름 적극적으로 일을 주도하는 학생이었던 것 같은데, 어느 새 낡아버린건지(?) 운영진 관련한 활동을 할 때 적극적으로 나서..

반응형