매직코드
반응형
article thumbnail
[논문리뷰] 초거대 언어모델 연구 동향
ML&DL/paper review 2023. 12. 13. 12:24

논문을 선정한 이유 요즘 회사에서 LLM, LangChain 관련사업을 많이 하고 있는데, 원래 정형데이터나 CV를 하다가 갑자기 언어모델을 하려고하니 여러가지 부분에서 부족한 느낌을 받으면서 일하고 있었다. LLM의 최신 동향을 알고싶기도 했고, 다른곳에서는 어떻게 LLM을 사용하고 있는지 궁금해서 논문을 읽어보게 되었다. 이번 논문리뷰는 기존에 실습코드를 같이 진행했던 논문리뷰와 다르게 서베이 논문이기 때문에 논문을 잘 요약하여 그 내용을 내것으로 만드는데 중점을 두었다. 논문읽기 서론 LLM이 등장하기 전에는 번역, 요약, 질의응답, 형태소분석 등의 작업이 각각 개별적으로 연구되고 있었으나 GPT와 같은 LLM이 등장한 이후 자연어로 할 수 있는 여러가지 task들이 하나의 LLM모델이 모두 처리할..

article thumbnail
[논문리뷰] 랭체인관련 논문 - ReAct: Synergizing Reasoning and Acting in Language Models (간단한 실습 w.python)
ML&DL/paper review 2023. 10. 13. 17:40

선행지식: LangChain에 대한 전반적인 흐름, 구조 (prompt, llm model, agents, tools etc...) 논문을 선정한 이유 요즘 랭체인을 공부하고 있는데 그 구성요소 중 하나인 Agent Types에서 가장 기본적으로 사용하는 ZERO_SHOT_REACT_DESCRIPTION에 대해서 확실하게 이해하고 싶었다. 내가 아는 react라고는 프론트엔드에서 사용하는 라이브러리뿐이다....ㅋㅋㅋ 논문읽기 Abstract 저자는 현재의 언어모델이 좋은 성능을 보였지만 "추론"과 "의사결정" 작업의 경우 좀 더 발전할 필요성이 있는것으로 본다. 논문에서는 추론과 의사결정을 잘 작업할 수 있도록 reasoning trace와 task specific actions를 잘 배치하는 방식을 연..

article thumbnail
[논문리뷰] Mask R-CNN, 2018 (Mask R-CNN 실습 w.pytorch)
ML&DL/paper review 2023. 4. 7. 13:28

선행논문 : FCN > (R-CNN) > (Fast R-CNN) > Faster R-CNN > FPN > Mask R-CNN Mask R-CNN을 이해하기 위해서는 이전에 발표되었는 FCN, Faster R-CNN (ROI), FPN의 개념들과 Object Detection / Semantic Segmentation / Instance Segmentation의 차이를 알아야 한다. 논문을 선정한 이유 instance segmentation 에서 가장 많이 활용하는 모델 object detection과 sementic segmentation의 장점을 합친 업그레이드 된 모델 논문 읽기 Abstract Mask R-CNN은 Faster R-CNN에 mask를 생성하는 브랜치를 병렬적으로 추가하는 방법이다. ..

article thumbnail
[논문리뷰] UNet: Convolutional Networks for Biomedical Image Segmentation, 2015 (UNet구현&실습 w.pytorch)
ML&DL/paper review 2023. 2. 20. 10:49

논문을 선정한 이유 이미지/영상처리를 수행하면서 가장 자주 사용하는 스킬이 object detection과 segmentation UNet은 이미지 segmentation에서 지금까지도 basemodel로 사용하고 있는 기본 모델 Convolution 기반으로 모델 아키텍쳐가 이해하기 쉬움 논문 읽기 Abstract 이 논문에서는 모델 네트워크와 모델 훈련 전략을 제시한다. 여기서 제시하는 전략은 사용 가능한 annotation 샘플을 더 효율적으로 사용하기 위해서 데이터증강을 강하게 사용하는 것을 말한다. 이를 위해서 모델 아키텍처는 contracting path와 expanding path가 대칭을 이루고 있으며, contracting path에서는 특정 context를 캡쳐하는 역할을 하고 expa..

article thumbnail
[논문리뷰] EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks, 2019 (EfficientNet구현&실습 w.pytorch)
ML&DL/paper review 2023. 2. 8. 11:36

선행논문 : ResNet > MobileNet > SENet EfficientNet에서는 MobileNet과 SENet에서 제안했던 개념이 사용되기 때문에 먼저 공부하는 것을 권장한다. 논문을 선정한 이유 지난번에 리뷰한 ResNet 과 함께 효율적, 범용적으로 CV 프로젝트에서 사용할 수 있을 것 같아 공부하기 위함 ResNet 이후 한번 더 효율성을 높힌 방법론이기 때문 논문 읽기 Abstract 이 논문의 핵심 내용은 아래와 같다. (1) 효율적인 모델 구축을 위해 depth, width, resolution을 스케일링하는 방법 제안 (2) MnasNet에서 사용하는 Conv구조인 MBConv를 이용한 EfficientNet 제안 Introduction 이전 연구들에서는 모델 성능을 높이기 위해 d..

article thumbnail
[논문리뷰] Deep Residual Learning For Image Recognition, 2015 (ResNet구현&실습 w.pytorch)
ML&DL/paper review 2023. 1. 11. 17:33

논문을 선정한 이유 앞으로 회사 업무에서 CV 파트도 맡게 되었기 때문에 가장 범용성 높은 방법론에 대해 공부하기 위함 AlexNet보다 실용성있고 코드를 구현해본다면 앞으로도 계속 유용하게 사용할 모델이 될 것 같음 이미지 분석에 큰 영향을 끼친만큼 많은 리뷰들과 코드들이 있기에 첫 논문리뷰를 진행할 때 참고할만한 자료가 많음 논문 읽기 Abstract 밑줄 친 문장 중 가장 진하게 표시된 부분이 이 논문을 대표하는 문장이라고 생각된다. "우리는 잔차학습 프레임워크를 제안한다. 이전에 사용된 것보다 깊은 네트워크의 학습을 쉽게 하기 위해서." 이를 뒷받침하고자 residual(잔차)를 이용한 모델이 ImageNet test set에서 3.75%의 에러를 달성했다는 내용과 LISVRC & COCO 201..

반응형