논문을 선정한 이유 요즘 회사에서 LLM, LangChain 관련사업을 많이 하고 있는데, 원래 정형데이터나 CV를 하다가 갑자기 언어모델을 하려고하니 여러가지 부분에서 부족한 느낌을 받으면서 일하고 있었다. LLM의 최신 동향을 알고싶기도 했고, 다른곳에서는 어떻게 LLM을 사용하고 있는지 궁금해서 논문을 읽어보게 되었다. 이번 논문리뷰는 기존에 실습코드를 같이 진행했던 논문리뷰와 다르게 서베이 논문이기 때문에 논문을 잘 요약하여 그 내용을 내것으로 만드는데 중점을 두었다. 논문읽기 서론 LLM이 등장하기 전에는 번역, 요약, 질의응답, 형태소분석 등의 작업이 각각 개별적으로 연구되고 있었으나 GPT와 같은 LLM이 등장한 이후 자연어로 할 수 있는 여러가지 task들이 하나의 LLM모델이 모두 처리할..

멀티모달이란? 멀티모달을 직역하면 여러개의 모달리티 라는 뜻이다. 멀티 = 여러개 모달 = 모달리티 모달리티는 잘 사용하지 않는 단어여서 사전을 살펴보면 "양식, 양상" 이라는 뜻을 가지고 있는데 AI에서 modality는 "데이터형식" 이라고 생각하면 될 것 같다. 결국 멀티모달AI는 여러개의 데이터 형식을 가지고 수행하는 AI 라는 뜻이다. 지도학습을 기준으로 기존 모델이 작동하는 방식을 보면 한개의 데이터 형식을 input으로 넣어서 학습시켰다. 하지만 멀티모달은 두개 이상의 데이터를 input으로 넣을 수 있다는 얘기인데 예를들면 이미지+텍스트를 input으로 넣거나 이미지+정형을 input으로 넣을 수 있다. 예전에는 영상데이터가 있으면 영상데이터를 한 프레임씩 잘라서 이미지로 변환한 다음 해당..

선행지식: LangChain에 대한 전반적인 흐름, 구조 (prompt, llm model, agents, tools etc...) 논문을 선정한 이유 요즘 랭체인을 공부하고 있는데 그 구성요소 중 하나인 Agent Types에서 가장 기본적으로 사용하는 ZERO_SHOT_REACT_DESCRIPTION에 대해서 확실하게 이해하고 싶었다. 내가 아는 react라고는 프론트엔드에서 사용하는 라이브러리뿐이다....ㅋㅋㅋ 논문읽기 Abstract 저자는 현재의 언어모델이 좋은 성능을 보였지만 "추론"과 "의사결정" 작업의 경우 좀 더 발전할 필요성이 있는것으로 본다. 논문에서는 추론과 의사결정을 잘 작업할 수 있도록 reasoning trace와 task specific actions를 잘 배치하는 방식을 연..

랭체인을 공부하게 된 이유 chat gpt의 상용화로 언어모델에 대한 관심이 높아지면서 자연스럽게 LLM을 공부하고자 하는 마음이 생겼다. 특히 인터넷상에서 검색할 수 있는 것들을 학습하여 어떤 대답이든 척척 내어놓는 모습을 보면서 개인적으로 보유하거나 회사 차원에서 보유하고 있는 데이터를 학습시켜 검색을 한다면 업무의 효율성이 올라갈 것 같았다. 개인적인 데이터를 사용하는 경우에는 오픈소스로 나와있는 언어모델을 호출해서 사용하면 되지만, 회사에서 사용하고자 하는 경우 민감한 데이터의 유출이 이루어지면 안되기 때문에 로컬에서 랭체인을 사용한 챗봇을 만들려면 어떻게 하면 좋을지 궁금해졌다. 이 주제를 시도하게 된 이유 openAI에서 chat gpt를 발표한 이후 많은 사람들의 관심이 Chat으로 넘어가게..

홈페이지에서 에세스 허용받기 홈페이지에 가서 Download the Model을 누른다. https://ai.meta.com/llama/ Llama 2 - Meta AI We have a broad range of supporters around the world who believe in our open approach to today’s AI — companies that have given early feedback and are excited to build with Llama 2, cloud providers that will include the model as part of their offering ai.meta.com 모델을 사용하기 위해서는 각각 서로 다른 url를 통해 모델을 다운로드..

프로젝트를 하게된 이유 멀티모달에 관심이 생겨서 쉬운것부터 토이 프로젝트를 진행했는데 이미지, 오디오가 연속적으로 연결되어있는 비디오 데이터를 이용하는 것이야말로 멀티모달을 어느정도 공부했다고 할 수 있을 것 같아 노트북에 있는 웹캠으로 뭔가를 할 수 없을까 하다가 실시간 감정분석을 시도해보았다. 유튜브에 올라와있는 다른 멀티모달 비디오처럼 화자분석이나 마우스로 대상을 지정하면 지정된 대상의 소리만 나오는 방식의 멀티모달도 있었으나 실시간으로 내 얼굴을 통해 분석을 할 수 있다는 점에서 웹캠을 이용한 감정분석이 좀 더 흥미로웠다. 개요 감정분석이란? 감정분석은 얼굴표정, 음성, 자세 등의 다양한 신호를 분석하여 감정 상태를 이해하고 해석하는 기술로, 이번 프로젝트에서는 얼굴표정을 이용한 감정분석을 시도했..

프로젝트를 하게된 이유 처음 데이터사이언티스트로 취업했을 때는 겨우 머신러닝을 사용할 줄 아는 병아리였는데 그래도 시간이 지나면서 다양한 데이터들을 다루고 모델들을 구축하다보니 점점 그 범위가 확장되어져갔다. 정형데이터를 이용한 머신러닝에 만족하다가 점점 딥러닝, 컴퓨터비전으로 영역을 넓히기도 했고, 그러다보니 자연스럽게 멀티모달에도 관심이 생겨서 토이프로젝트를 진행해봤다. 그 중에 정형데이터 + 오디오 멀티모달을 먼저 하게된 이유는 쉬워보였기 때문이다. 멀티모달을 하고자 마음먹고 여러가지 레퍼런스들을 찾으며 공부하는데 오디오 멀티모달이 가장 원초적이고 입문하기에 허들이 낮은편인것 같았다. 이미 오디오데이터도 다뤄본 적이 있었기 때문에 이해하기도 쉬웠다. 혹시 오디오데이터를 다뤄본적이 없다면 오디오데이터..

선행논문 : FCN > (R-CNN) > (Fast R-CNN) > Faster R-CNN > FPN > Mask R-CNN Mask R-CNN을 이해하기 위해서는 이전에 발표되었는 FCN, Faster R-CNN (ROI), FPN의 개념들과 Object Detection / Semantic Segmentation / Instance Segmentation의 차이를 알아야 한다. 논문을 선정한 이유 instance segmentation 에서 가장 많이 활용하는 모델 object detection과 sementic segmentation의 장점을 합친 업그레이드 된 모델 논문 읽기 Abstract Mask R-CNN은 Faster R-CNN에 mask를 생성하는 브랜치를 병렬적으로 추가하는 방법이다. ..

이상치탐지를 하게 된 이유 이번에 진행하는 프로젝트는 대기 중 화학물질의 농도를 보고 악취인지 아닌지 판단해야하는 프로젝트인데, 라벨값이 없기 때문에 지도학습이 어려워 이상치탐지를 먼저 수행해봤다. 하나의 이상치탐지만 진행하는 경우 악취임을 판단하는 적절한 임계값을 지정하는데 근거가 부족할 수 있기 때문에 다양한 방법론을 사용하려고 했다. Iforest iforest는 isolation forest로 트리기반 앙상블 기법중 하나다. iforest를 제공하는 패키지가 2개정도 있는데 나는 pyod에서 제공하는 iforest를 사용했다. 공식문서 iforest의 작동 방식은 아래와 같다. 1) 임의의 변수와 임의의 기준점으로 데이터를 나눈다. 2) 이상치라고 생각되는 데이터를 포함한 부분에서 또다시 임의의 ..

논문을 선정한 이유 이미지/영상처리를 수행하면서 가장 자주 사용하는 스킬이 object detection과 segmentation UNet은 이미지 segmentation에서 지금까지도 basemodel로 사용하고 있는 기본 모델 Convolution 기반으로 모델 아키텍쳐가 이해하기 쉬움 논문 읽기 Abstract 이 논문에서는 모델 네트워크와 모델 훈련 전략을 제시한다. 여기서 제시하는 전략은 사용 가능한 annotation 샘플을 더 효율적으로 사용하기 위해서 데이터증강을 강하게 사용하는 것을 말한다. 이를 위해서 모델 아키텍처는 contracting path와 expanding path가 대칭을 이루고 있으며, contracting path에서는 특정 context를 캡쳐하는 역할을 하고 expa..