프로젝트를 하게된 이유 멀티모달에 관심이 생겨서 쉬운것부터 토이 프로젝트를 진행했는데 이미지, 오디오가 연속적으로 연결되어있는 비디오 데이터를 이용하는 것이야말로 멀티모달을 어느정도 공부했다고 할 수 있을 것 같아 노트북에 있는 웹캠으로 뭔가를 할 수 없을까 하다가 실시간 감정분석을 시도해보았다. 유튜브에 올라와있는 다른 멀티모달 비디오처럼 화자분석이나 마우스로 대상을 지정하면 지정된 대상의 소리만 나오는 방식의 멀티모달도 있었으나 실시간으로 내 얼굴을 통해 분석을 할 수 있다는 점에서 웹캠을 이용한 감정분석이 좀 더 흥미로웠다. 개요 감정분석이란? 감정분석은 얼굴표정, 음성, 자세 등의 다양한 신호를 분석하여 감정 상태를 이해하고 해석하는 기술로, 이번 프로젝트에서는 얼굴표정을 이용한 감정분석을 시도했..

프로젝트를 하게된 이유 처음 데이터사이언티스트로 취업했을 때는 겨우 머신러닝을 사용할 줄 아는 병아리였는데 그래도 시간이 지나면서 다양한 데이터들을 다루고 모델들을 구축하다보니 점점 그 범위가 확장되어져갔다. 정형데이터를 이용한 머신러닝에 만족하다가 점점 딥러닝, 컴퓨터비전으로 영역을 넓히기도 했고, 그러다보니 자연스럽게 멀티모달에도 관심이 생겨서 토이프로젝트를 진행해봤다. 그 중에 정형데이터 + 오디오 멀티모달을 먼저 하게된 이유는 쉬워보였기 때문이다. 멀티모달을 하고자 마음먹고 여러가지 레퍼런스들을 찾으며 공부하는데 오디오 멀티모달이 가장 원초적이고 입문하기에 허들이 낮은편인것 같았다. 이미 오디오데이터도 다뤄본 적이 있었기 때문에 이해하기도 쉬웠다. 혹시 오디오데이터를 다뤄본적이 없다면 오디오데이터..

선행논문 : FCN > (R-CNN) > (Fast R-CNN) > Faster R-CNN > FPN > Mask R-CNN Mask R-CNN을 이해하기 위해서는 이전에 발표되었는 FCN, Faster R-CNN (ROI), FPN의 개념들과 Object Detection / Semantic Segmentation / Instance Segmentation의 차이를 알아야 한다. 논문을 선정한 이유 instance segmentation 에서 가장 많이 활용하는 모델 object detection과 sementic segmentation의 장점을 합친 업그레이드 된 모델 논문 읽기 Abstract Mask R-CNN은 Faster R-CNN에 mask를 생성하는 브랜치를 병렬적으로 추가하는 방법이다. ..

이상치탐지를 하게 된 이유 이번에 진행하는 프로젝트는 대기 중 화학물질의 농도를 보고 악취인지 아닌지 판단해야하는 프로젝트인데, 라벨값이 없기 때문에 지도학습이 어려워 이상치탐지를 먼저 수행해봤다. 하나의 이상치탐지만 진행하는 경우 악취임을 판단하는 적절한 임계값을 지정하는데 근거가 부족할 수 있기 때문에 다양한 방법론을 사용하려고 했다. Iforest iforest는 isolation forest로 트리기반 앙상블 기법중 하나다. iforest를 제공하는 패키지가 2개정도 있는데 나는 pyod에서 제공하는 iforest를 사용했다. 공식문서 iforest의 작동 방식은 아래와 같다. 1) 임의의 변수와 임의의 기준점으로 데이터를 나눈다. 2) 이상치라고 생각되는 데이터를 포함한 부분에서 또다시 임의의 ..

논문을 선정한 이유 이미지/영상처리를 수행하면서 가장 자주 사용하는 스킬이 object detection과 segmentation UNet은 이미지 segmentation에서 지금까지도 basemodel로 사용하고 있는 기본 모델 Convolution 기반으로 모델 아키텍쳐가 이해하기 쉬움 논문 읽기 Abstract 이 논문에서는 모델 네트워크와 모델 훈련 전략을 제시한다. 여기서 제시하는 전략은 사용 가능한 annotation 샘플을 더 효율적으로 사용하기 위해서 데이터증강을 강하게 사용하는 것을 말한다. 이를 위해서 모델 아키텍처는 contracting path와 expanding path가 대칭을 이루고 있으며, contracting path에서는 특정 context를 캡쳐하는 역할을 하고 expa..

선행논문 : ResNet > MobileNet > SENet EfficientNet에서는 MobileNet과 SENet에서 제안했던 개념이 사용되기 때문에 먼저 공부하는 것을 권장한다. 논문을 선정한 이유 지난번에 리뷰한 ResNet 과 함께 효율적, 범용적으로 CV 프로젝트에서 사용할 수 있을 것 같아 공부하기 위함 ResNet 이후 한번 더 효율성을 높힌 방법론이기 때문 논문 읽기 Abstract 이 논문의 핵심 내용은 아래와 같다. (1) 효율적인 모델 구축을 위해 depth, width, resolution을 스케일링하는 방법 제안 (2) MnasNet에서 사용하는 Conv구조인 MBConv를 이용한 EfficientNet 제안 Introduction 이전 연구들에서는 모델 성능을 높이기 위해 d..

논문을 선정한 이유 앞으로 회사 업무에서 CV 파트도 맡게 되었기 때문에 가장 범용성 높은 방법론에 대해 공부하기 위함 AlexNet보다 실용성있고 코드를 구현해본다면 앞으로도 계속 유용하게 사용할 모델이 될 것 같음 이미지 분석에 큰 영향을 끼친만큼 많은 리뷰들과 코드들이 있기에 첫 논문리뷰를 진행할 때 참고할만한 자료가 많음 논문 읽기 Abstract 밑줄 친 문장 중 가장 진하게 표시된 부분이 이 논문을 대표하는 문장이라고 생각된다. "우리는 잔차학습 프레임워크를 제안한다. 이전에 사용된 것보다 깊은 네트워크의 학습을 쉽게 하기 위해서." 이를 뒷받침하고자 residual(잔차)를 이용한 모델이 ImageNet test set에서 3.75%의 에러를 달성했다는 내용과 LISVRC & COCO 201..

2022년 9월 28일 수요일, 마키나락스에서 진행하는 웨비나에 참여했다. Session.1은 총 3부로 나누어져서 진행되었다. 1부는 마키나락스에 대한 간단한 설명 2부는 캐글마스터가 Link를 사용하는 방법 설명 3부는 실제 프로젝트에서 Link를 사용하는 방법으르 이루어졌다. Session.2 는 사전신청한 경우만 참석할 수 있다. Link를 사용하는 법과 커리어상담을 진행할 수 있다. 이 포스팅에서는 세션1 내용만 포스팅하고 세션2에서 진행한 내용은 포스팅하지 않았다. 우리는 왜 Link를 개발했을까? 마키나락스 데이터 사이언티스트의 역량이 중요하다고 생각하여 가장 많이 사용하는 jupyter를 개선해야겠다고 생각하여 'LINK'를 만들게 됨. - 코드 기반의 유지관리와 재현성 어려움 - 셀의 순..