랭체인을 공부하게 된 이유 chat gpt의 상용화로 언어모델에 대한 관심이 높아지면서 자연스럽게 LLM을 공부하고자 하는 마음이 생겼다. 특히 인터넷상에서 검색할 수 있는 것들을 학습하여 어떤 대답이든 척척 내어놓는 모습을 보면서 개인적으로 보유하거나 회사 차원에서 보유하고 있는 데이터를 학습시켜 검색을 한다면 업무의 효율성이 올라갈 것 같았다. 개인적인 데이터를 사용하는 경우에는 오픈소스로 나와있는 언어모델을 호출해서 사용하면 되지만, 회사에서 사용하고자 하는 경우 민감한 데이터의 유출이 이루어지면 안되기 때문에 로컬에서 랭체인을 사용한 챗봇을 만들려면 어떻게 하면 좋을지 궁금해졌다. 이 주제를 시도하게 된 이유 openAI에서 chat gpt를 발표한 이후 많은 사람들의 관심이 Chat으로 넘어가게..
프로젝트를 하게된 이유 멀티모달에 관심이 생겨서 쉬운것부터 토이 프로젝트를 진행했는데 이미지, 오디오가 연속적으로 연결되어있는 비디오 데이터를 이용하는 것이야말로 멀티모달을 어느정도 공부했다고 할 수 있을 것 같아 노트북에 있는 웹캠으로 뭔가를 할 수 없을까 하다가 실시간 감정분석을 시도해보았다. 유튜브에 올라와있는 다른 멀티모달 비디오처럼 화자분석이나 마우스로 대상을 지정하면 지정된 대상의 소리만 나오는 방식의 멀티모달도 있었으나 실시간으로 내 얼굴을 통해 분석을 할 수 있다는 점에서 웹캠을 이용한 감정분석이 좀 더 흥미로웠다. 개요 감정분석이란? 감정분석은 얼굴표정, 음성, 자세 등의 다양한 신호를 분석하여 감정 상태를 이해하고 해석하는 기술로, 이번 프로젝트에서는 얼굴표정을 이용한 감정분석을 시도했..
프로젝트를 하게된 이유 처음 데이터사이언티스트로 취업했을 때는 겨우 머신러닝을 사용할 줄 아는 병아리였는데 그래도 시간이 지나면서 다양한 데이터들을 다루고 모델들을 구축하다보니 점점 그 범위가 확장되어져갔다. 정형데이터를 이용한 머신러닝에 만족하다가 점점 딥러닝, 컴퓨터비전으로 영역을 넓히기도 했고, 그러다보니 자연스럽게 멀티모달에도 관심이 생겨서 토이프로젝트를 진행해봤다. 그 중에 정형데이터 + 오디오 멀티모달을 먼저 하게된 이유는 쉬워보였기 때문이다. 멀티모달을 하고자 마음먹고 여러가지 레퍼런스들을 찾으며 공부하는데 오디오 멀티모달이 가장 원초적이고 입문하기에 허들이 낮은편인것 같았다. 이미 오디오데이터도 다뤄본 적이 있었기 때문에 이해하기도 쉬웠다. 혹시 오디오데이터를 다뤄본적이 없다면 오디오데이터..
이상치탐지를 하게 된 이유 이번에 진행하는 프로젝트는 대기 중 화학물질의 농도를 보고 악취인지 아닌지 판단해야하는 프로젝트인데, 라벨값이 없기 때문에 지도학습이 어려워 이상치탐지를 먼저 수행해봤다. 하나의 이상치탐지만 진행하는 경우 악취임을 판단하는 적절한 임계값을 지정하는데 근거가 부족할 수 있기 때문에 다양한 방법론을 사용하려고 했다. Iforest iforest는 isolation forest로 트리기반 앙상블 기법중 하나다. iforest를 제공하는 패키지가 2개정도 있는데 나는 pyod에서 제공하는 iforest를 사용했다. 공식문서 iforest의 작동 방식은 아래와 같다. 1) 임의의 변수와 임의의 기준점으로 데이터를 나눈다. 2) 이상치라고 생각되는 데이터를 포함한 부분에서 또다시 임의의 ..
DTW(Dynamic Time Warping)은 동적 시간 워핑이라고 불린다. 두개의 시계열 데이터가 서로 얼마나 유사한지 비교할 때 사용한다. DTW를 사용하는 이유? - 두개의 시계열 데이터 길이가 달라도 유사도 비교 가능 - 비슷한 패턴이지만 시간차가 있는 경우(shift 발생) 유사도 비교 가능 DTW 계산방법 이론 공식으로 보는 방법도 있는데 예시를 들어서 계산하는게 더 이해가 잘 된다. 이론적인 설명 이후에 예시를 들어서 직접 계산해보도록 하자. 시계열 데이터 2개가 있다. 두 시계열의 길이 n, m은 길이가 같을 수도 있고 다를 수도 있다. 이 두개의 시계열을 나열하여 n x m 행렬을 만든다. 유클리드거리를 이용하여 최적의 와핑 경로를 탐색한다. 와핑경로는 두개의 시계열 데이터 P와 Q 사..
1. yolov4.yaml 생성 yolov4.yaml 경로 : yolov5/models https://github.com/Lornatang/YOLOv4-PyTorch/tree/048cb8c23a4dacadffd3db53f25aa7f4660087cf GitHub - Lornatang/YOLOv4-PyTorch: Pytorch implements yolov4.Good performance, easy to use, fast speed. Pytorch implements yolov4.Good performance, easy to use, fast speed. - GitHub - Lornatang/YOLOv4-PyTorch: Pytorch implements yolov4.Good performance, easy ..
#object_detection #image_labeling #polygon #CVAT #json #bbox #bounding_box_visualization #bbox_label_visualization > how to make bounding box(bbox) and polygon with CVAT? > how to visualized bbox and polygon? 컴퓨터비전의 아주 기초단계에는 이미지 라벨징 구축이 있다. 대부분 라벨링을 하고 학습을 시키기 때문에 시각화를 하는건 옵션사항일 수도 있는데, 컴퓨터비전을 처음 배우는 나로써는 하나씩 모든 것을 다 경험해보고 싶은 마음이다. 목표 1. 이미지에 직접 라벨링, 폴리곤을 만들기 2. bbox 예측을 포함한 시각화 1. 이미지 준비 일단은 실..
지난 포스팅에서 푸리에 변환에 설명했다. 이번에는 조금 다른 진동센서 데이터를 가지고 조금 다은 푸리에 변환을 해보려고 한다. 지난번 푸리에 변환에 대한 코드와 설명을 보고싶다면 아래 포스팅으로... 누수감지를 위한 진동센서 데이터 신호처리 및 누수 예측 (푸리에변환 FFT) 누수감지를 위한 진동센서 데이터 신호처리 및 누수 예측 (푸리에변환 FFT) 목표 : 누수감지를 위해 설치된 진동센서로부터 기록되는 진동데이터를 통해 정상인 상태와 누수가 진행되는 상태를 예측 방법 : 진동센서 데이터를 이용해 시간 영역 특징 추출과 주파수 변환 magicode.tistory.com 목표 : 진동센서 데이터를 통해 기계 고장 유형 분류 방법 : 시간 영역 특징 추출과 주파수 변환(fft) 및 하모닉 확인을 통한 고장..
목표 : 진동센서로부터 기록되는 진동데이터를 통해 정상인 상태와 비정상 상태를 예측 방법 : 진동센서 데이터를 이용해 시간 영역 특징 추출과 주파수 변환을 이용해 고장 분류 모델 생성 1. 진동 센서 데이터 확인 진동이란 힘에 의해 어느 물체가 같은 모양으로 반복하여 흔들리는 움직임이다. 본 프로젝트에서는 회전기기에서 측정되는 진동 데이터를 이용하는데, 회전기기가 진동하는 원인은 원심력이다. 원심력을 구하는 공식은 다음과 같다. 이러한 진동 센서 데이터는 1초에 4096번 측정되었다. 4096번의 측정이 진행된 데이터를 1개 세트라고 했을 때, 본 프로젝트에서는 train 데이터로 2065세트, test 데이터로 200세트를 다루었다. 2. 진동 센서 데이터를 이용한 시간 영역 특징 추출 kinetic ..
1. 라이브러리 # 필요한 라이브러리 불러오기 import numpy as np import tensorflow as tf import matplotlib.pyplot as plt from tensorflow import keras tf.random.set_seed(777) # for reproducibility print(tf.__version__) 2. 데이터 확인 fashion = tf.keras.datasets.fashion_mnist (train_images, train_labels), (test_images, test_labels) = fashion.load_data() class_names = ['T-shirt/top', 'Trouser', 'Pullover', 'Dress', 'Coat',..