AI컨설턴트가 알려주는, 기업이 AI 도입 전에 꼭 알아야 하는 핵심 기술

AI 컨설턴트는 기업이 인공지능(AI)을 도입하고 활용하여 문제를 해결하고, 효율성을 높이며, 새로운 비즈니스 기회를 창출할 수 있도록 돕는 전문가다. 많은 기업들이 AI에 대해 아무것도 모른채 상담문의를 하는게 안타까워 블로그 글을 작성하기 시작했다.

 

AI를 도입하려는 기업이 AI를 구성하는 핵심 기술을 알아야 하는 이유

AI는 기업의 효율성과 경쟁력을 강화하는 데 강력한 도구가 될 수 있다. 하지만 AI를 제대로 활용하려면 그 기술이 어떻게 구성되고 작동하는지 기본적으로 이해하는 것이 중요하다. 다음은 그 이유를 설명한다.

 

1. AI 도입의 현실적 가능성을 평가하기 위해

AI 기술의 핵심 요소를 알면, AI가 우리 회사의 문제를 해결할 수 있는지를 현실적으로 평가할 수 있다. 예를 들어, 자연어 처리(NLP) 기술은 고객 서비스에 적합하지만, 물류 최적화에는 적합하지 않을 수 있다. 기술에 대한 이해가 부족하면 과도한 기대를 하거나, 불필요한 비용을 낭비할 위험이 있다.

 

2. 적합한 AI 솔루션을 선택하기 위해

AI는 다양한 핵심 기술로 구성되며, 각각의 기술은 특정 작업에 강점을 가진다. 예를 들어, 머신러닝은 데이터를 기반으로 패턴을 학습해 예측 작업에 강하다. 컴퓨터 비전은 이미지를 분석하고 처리하는 데 적합하다. LLM은 텍스트 분석과 챗봇 같은 작업에 적합하다. 기술을 이해하면 회사의 필요에 맞는 AI 솔루션을 정확히 선택할 수 있다.

 

3. AI 도입 과정에서 협력할 파트너와 원활히 소통하기 위해

AI 개발사는 기술적 용어와 솔루션을 설명하지만, 이를 전혀 이해하지 못하면 적절한 결정을 내리기 어렵다. 예를 들어, 클라우드 기반 AI 서비스와 온프레미스 AI 솔루션 중 어떤 것이 우리 회사에 적합한지 이해하려면 기술 구성 요소에 대한 기본적인 이해가 필요하다.

 

4. 도입 이후 유지보수와 활용을 극대화하기 위해

AI 도입은 끝이 아니라 시작이다. AI 시스템은 꾸준히 업데이트해야 한다. 기술 이해도가 부족하면 AI를 제대로 활용하지 못하거나, 성능이 점점 떨어질 수 있다.

 

5. AI의 한계를 이해하고 적절한 기대치를 설정하기 위해

AI의 구성 기술을 이해하면 기술적 한계를 명확히 파악할 수 있다. 이를 통해 AI가 어떤 작업에서 효과적으로 작동하고, 어떤 작업에서는 한계가 있는지 구분할 수 있어, 보다 적절한 AI 도입 전략을 수립할 수 있다.

 

AI를 구성하는 핵심 기술을 이해하는 것은 효율적인 도입과 활용을 위한 첫걸음이다. 모든 기술을 깊이 알 필요는 없지만, 기술의 원리와 목적을 이해하면 현실적인 기대를 설정하고, 회사의 목표에 적합한 AI 솔루션을 도입할 수 있다. AI는 도구일 뿐, 기업의 문제를 해결하는 것은 결국 현명한 전략과 실행이라는 점을 잊지 말아야 한다.

 

AI를 구성하는 핵심 기술

머신러닝

머신러닝은 데이터를 기반으로 패턴을 학습하고 예측이나 의사결정을 수행하는 인공지능 기술이다.

사람이 일일이 규칙을 정의하지 않아도 모델이 많은 데이터를 학습하면서 규칙을 찾아내 복잡한 문제를 효율적으로 해결한다.

 

머신러닝 도입 성공 사례

작은 금융사에서 고객의 서비스 해지를 줄이기 위해 머신러닝 기반의 고객 이탈 예측 시스템을 도입하고자 했다.

이 때 가장 중요한 것은 고객 이탈을 예측할 수 있는 데이터가 존재하는지 여부였다.

데이터가 없다면 머신러닝 모델을 학습시킬 수 없기 때문에 시스템 도입이 불가능했다.

 

고객 이탈을 예측하기 위해서는 대략 아래와 같은 데이터가 필요하다.

 

• 고객 기본 정보: 고객의 나이, 성별, 가입 기간, 직업 등 기본적인 정보
  이 정보는 고객이 장기적으로 서비스를 유지할 가능성을 예측하는 데 중요한 역할을 한다.
  예를 들어, 나이가 많은 고객은 서비스 이탈 확률이 낮을 수 있다.
• 서비스 이용 패턴: 고객이 금융 서비스를 얼마나 자주 이용하는지, 어떤 서비스들을 주로 사용하는지
  예를 들어, 계좌 확인, 송금, 대출 신청 등의 빈도가 낮은 고객은 이탈 가능성이 높다고 예측할 수 있다.
• 고객의 만족도 및 피드백: 이탈을 예측하고자 하는 서비스에 대한 고객 피드백 및 만족도
  고객이 불만을 가지고 있거나 피드백을 부정적으로 남긴 경우, 이 고객이 이탈할 가능성이 더 크다고 예측할 수 있다.
  이 때 주의해야 할 사항은 A서비스 이탈예측을 하고자 하는데 B서비스에 대한 고객 피드백은 큰 영향을 주지 않는다.
• 고객의 서비스 변경 이력: 고객이 서비스를 자주 변경하는지
  이러한 고객은 서비스의 품질과 상관없이 이탈 가능성이 있다.

금융사의 경우 데이터를 잘 수집하고 있기 때문에 큰 문제없이 머신러닝 모델을 학습시키고 고객 이탈 예측 시스템을 도입하여 이탈률을 20%정도 감소시켰다.

 

AI를 도입하고자 하는 기업이 알아야 하는 것

대부분의 경우 데이터가 잘 수집되고 있지 않기 때문에 머신러닝 모델을 바로 도입하기 어렵다.

위 사례에서 고객정보만 있거나 서비스에 대한 데이터가 없다면 데이터 수집부터 시작해야 머신러닝 모델을 학습시켜 사용할 수 있다.

머신러닝 모델에는 최소 1만건 이상의 데이터를 학습해야 의미있는 결과를 주기 때문에 데이터를 수집하는데 시간이 오래 걸리는 편이다.

 

또한 머신러닝 모델을 도입한 후 몇 가지 고려해야 하는 상황도 컨설팅을 통해 미리 알아두면 좋다.

사례에 나오는 금융사의 경우 새로운 금융상품이 나오면서 머신러닝이 학습한 적 없는 상품에 대한 예측을 해야하는 상황이 발생했다.

또한 고객들이 많이 늘어나거나 사회적 분위기가 바뀌면서 고객의 행동 패턴이 바뀌기도 했다.

이런 경우에는 모델의 예측이 매우 부정확해지기 때문에 새로운 데이터를 가지고 모델을 다시 학습시켜야한다.

따라서 머신러닝 모델을 도입할 때는 데이터가 변화할 가능성을 고려하고, 지속적으로 데이터를 업데이트 하면서 모델을 학습시켜야 함을 고려하여 AI를 설계해야한다.

 

딥러닝

딥러닝은 머신러닝의 하위 분야로, 인간의 뇌 신경망을 모방한 인공신경망(Artificial Neural Network)을 기반으로 데이터를 학습한다.

숫자 형태의 데이터를 처리하는데 강점을 가졌던 머신러닝과 달리 딥러닝은 이미지, 음성, 텍스트 등의 데이터를 분석하고 예측하는 데 자주 사용된다. 특히, 대규모 데이터를 활용해 뛰어난 성능을 발휘하며, 자동화와 최적화 문제를 해결하는 데 혁신적인 기여를 하고 있다.

 

딥러닝 도입 사례

한 제조업체는 설비 내부에 설치된 CCTV를 딥러닝 모델이 분석하여 최적의 기계 작동 시간을 찾고싶어 했다.

기존에는 관리자가 CCTV를 보면서 경험과 감각에 의존해 기계를 작동시켰지만, 인공지능 모델이 이를 대신한다면 관리자의 업무를 줄이면서 더 효율적인 기계 작동을 기대할 수 있었다.

 

이 때 아래와 같은 데이터가 필요하다.

• 설비 내부에 설치된 CCTV 영상을 시간단위로 쪼갠 이미지
• 이미지에 해당하는 시간마다 기계의 작동 여부, 실제 작동 시간, 작동 종료 시간, 기계 작업 효율, 기계 작동 전후 비교 데이터

이 제조업체의 경우, CCTV를 설치하기 전에 인공지능 모델을 통해 CCTV 설치에 따른 기계 작동 효율을 미리 파악할 수 있지 않을까? 라는 생각으로 AI도입을 문의했었다. 따라서 실제로 가지고 있는 데이터는 기계 작동 여부, 실제 작동 시간 뿐이었다. 결국 이 제조업체는 딥러닝 모델을 적용할 수 없었지만 추후 CCTV를 설치하여 딥러닝 모델을 적용하고 싶을 때 어떤 데이터를 수집해야하는지 데이터 구축에 대한 컨설팅을 진행했다.

 

AI를 도입하고자 하는 기업이 알아야 하는 것

많은 분들이 AI에 대해 이렇게 생각하곤 한다 "AI가 그렇게 똑똑하다는데, 어떤 문제든 다 해결할 수 있지 않을까?" 하지만 실제로 AI는 만능 해결사가 아니라, 데이터를 학습해야만 결과를 낼 수 있는 도구에 가깝다. 비유를 들어 설명하자면 다음과 같다.

 

어떤 시험이 있다고 상상해보자. 시험 범위는 책 20권이다.

혼자서 이 많은 책을 공부하기 어려워 나를 대신해 시험 보러 갈 AI를 도입하기로 했다. AI가 시험을 잘 보게 하려면 어떻게 해야할까?

먼저, 책 20권의 내용을 AI에게 학습시켜야 한다.

AI는 스스로 책을 읽거나 이해하지 못하기 때문에 AI가 이해하고 학습할 수 있도록 사람이 데이터를 정리하여 입력해야한다.

만약 AI가 20권 중 5권만 학습했다면 나머지 15권 책에 대한 문제는 제대로 답하지 못할 것이다. 또한 시험이 갑자기 다른 책에서 출제된다면 제대로 답하지 못할 것이다.

머신러닝의 사례에서 이야기 했던 것처럼 학습한 금융상품 이외에 새로운 금융상품이 나왔거나, 이미 학습한 책의 내용이 변경되는 경우(고객 행동 패턴이 변화한 경우) 다시 학습해야 하는 것과 같다.

 

LLM

LLM은 모델 이름에서도 알 수 있듯이 거대한 양의 언어 데이터를 사전에 학습한 모델이다. 머신러닝이나 딥러닝에서는 내가 원하는 결과를 얻기 위해서는 최소 1만건 이상의 데이터를 주면서 모델에게 직접 학습시켜 사용했다면, LLM은 최소 10억건 이상의 데이터를 학습시켜 웬만한 데이터를 이미 가지고 있다. 세상을 놀라게 했던 챗GPT는 최소 100억건 이상의 데이터를 학습시켜 출시했고, 지금도 점점 학습량이 많아져 gpt-4o-mini 모델의 경우 '미니'라는 이름을 달고 있음에도 최소 200억건 이상의 데이터를 학습하지 않았을까 추측하고 있다.

LLM(대규모 언어 모델)은 기존의 머신러닝이나 딥러닝 모델과는 조금 다른 성격을 가진다. 기존의 머신러닝 모델은 주어진 데이터를 학습한 후, 이를 바탕으로 통계적인 예측이나 분류를 수행한다. 반면, LLM은 데이터를 학습하는 것에 그치지 않고, 이를 바탕으로 새로운 내용을 생성할 수 있는 모델이다.

예를 들어, 시험을 보는 상황을 떠올려 보자. 일반적인 머신러닝 모델은 시험 범위의 책을 꼼꼼히 외우고, 시험 문제에 나오는 질문에 대해 정확히 외운 내용을 답으로 적는다고 할 수 있다. 한마디로, '암기형 시험'을 보는 것이다.

반면, LLM은 마치 오픈북 시험을 치르는 사람과 비슷하다. 책을 보며 필요한 정보를 참고하되, 그대로 받아적지 않고 스스로 정리하고 재구성해서 답을 작성한다. 그렇기 때문에 동일한 질문에도 다양한 형태의 답변이 나올 수 있다. 이를 통해 LLM은 단순히 기존 데이터를 재현하는 것을 넘어, 창의적이고 유연한 방식으로 새로운 정보를 만들어낼 수 있다.

 

LLM 도입 사례

한 출판사는 독자를 위한 책 요약 LLM 도입을 문의했다. 독자가 흥미로워하는 주제를 검색하면 해당 주제에 해당하는 책을 리스트 형식으로 나열해주고, 각 책의 주요 내용을 아주 간략하게 요약하여 제공하는 기능을 원했다. 기존에는 책의 목차나, 책을 편집할 때 작성한 줄거리 요약을 제공했다면 LLM 도입을 통해서 출판사에서 줄거리 요약을 따로 준비하지 않은 책이나 줄거리 요약으로 충분하다고 느끼지 못하는 독자를 잡기 위함이었다.

 

이 때 아래와 같은 데이터가 필요하다.

• 책 데이터: 책 제목, 저자, 카테고리, 책 내용
• 책 평가 데이터: 기존에 작성된 줄거리 요약 또는 서평

어떤 AI 모델이든 관련된 데이터가 풍부할수록 도입 가능성이 높아진다. 이 출판사의 경우, 필요한 데이터를 모두 보유하고 있어 LLM 모델을 개발할 수 있는 조건은 충분했다. 그러나 이 서비스를 독자들에게 제공하기 위한 플랫폼에 대한 컨설팅 과정에서 문제가 발생했다.

출판사는 간단히 자사 홈페이지에 챗봇을 추가하면 될 것이라고 생각했지만, 홈페이지 유지보수를 위한 개발 인력을 보유하고 있지 않았다. 또한, 우리 회사는 AI 모델 개발 전문 인력만 보유하고 있었기 때문에 AI 모델(엔진)을 제작할 수는 있었지만, 이를 홈페이지에 적용하기 위한 백엔드와 프론트엔드 개발은 불가능한 상황이었다.

결국, 출판사는 이전에 홈페이지를 구축했던 외부 개발사에 의뢰하여 우리가 만든 AI 모델을 적용할 방법을 찾는 것이 유일한 선택지였다. 그러나 외부 개발사와의 연락이 지연되면서, 우리와의 연락도 지연되었고 끝내 프로젝트는 무산되고 말았다.

이 사례는 AI 모델 도입을 고려할 때, 단순히 기술적인 개발뿐 아니라 이를 적용할 수 있는 플랫폼과 인프라가 얼마나 중요한지를 보여준다.

 

AI를 도입하고자 하는 기업이 알아야 하는 것

LLM은 동일한 질문에도 다양한 답변을 생성할 수 있는 우연한 모델이다. 이 특성을 반드시 알고 AI도입을 계획해야한다. AI도입에 대해 가장 많은 문의가 들어오는 내용을 고객상담 챗봇 도입이다. 반복되는 고객 질문에 대해 답변할 수 있는 챗봇을 도입하고 싶다고 하는데, 단순 FAQ를 하기에 LLM은 적절하지 않다. 그렇다고 상담원과 상담할정도로 복잡하고 예외적인 상황에 대해 답변할 수 있는 챗봇을 만들기 위해서는 정말 세밀한 프롬프트 엔지니어링과 모든 예외 상황에 대한 회사 방침 심지어는 DB접근 권한이 필요할 수 있다. 즉, 정해진 답변을 복제하는 것이 아니라 여러 데이터를 바탕으로 새로운 답변을 생성하기 때문에 정확성이나 신뢰성이 중요할 경우에는 LLM이 알맞지 않을 수 있다.

 

다음으로, LLM을 도입할 때 충분한 인프라를 갖추고 있는지 확인해야 한다.사례에서는 홈페이지 개발자의 부재로 어려움을 겪었지만, 실제로 LLM을 사용할 때 데이터 보안을 위해 인터넷이 없어도 사용할 수 있는 모델 또는 내부망(폐쇄망)에서 사용할 수 있는 모델을 구축하고자 한다면 하드웨어, 모델의 성능 차이 등을 고려해야 한다. 하드웨어나 모델의 성능 차이는 추후 다른 포스팅에서 더 자세히 설명하겠다.

 

결론

AI는 단순히 기술을 도입하는 것에서 끝나지 않고, 기업의 업무 방식과 비즈니스 모델에 큰 변화를 가져오는 혁신적인 도구다.

그러나 이러한 변화를 성공적으로 이루기 위해서는 기술의 본질을 이해하고, 명확한 목표와 전략을 바탕으로 접근해야 한다.

 

이번 글에서는 AI를 도입하려는 기업이 꼭 알아야 할 머신러닝, 딥러닝, 그리고 LLM의 핵심 기술에 대해 살펴보았다.

각 기술은 데이터 분석, 예측, 콘텐츠 생성 등 서로 다른 강점과 가능성을 가지고 있으며, 기업이 직면한 문제와 이를 해결하기 위한 접근 방식에 따라 적합한 모델이 달라질 수 있다. 따라서, 기업의 상황에 맞는 모델을 선택하려면 전문적인 컨설팅을 통해 신중히 검토해야 한다.

 

성공적인 AI 도입을 위해 다음과 같은 점을 기억하자:

1. 목표를 명확히 설정하라: AI 도입의 목적과 기대 효과를 구체화하면 어떤 데이터가 필요한지, 어떤 모델을 적용해야 하는지 명확하게 설계할 수 있다.
2. 데이터의 중요성을 간과하지 말라: AI의 성능은 데이터의 질과 양에 달려 있다. LLM을 도입할 때는 머신러닝이나 딥러닝보다 데이터의 중요성이 다소 낮아지기는 했지만 여전히 중요하다.
3. 기술만큼 중요한 인프라와 팀워크: AI 도입은 기술 개발뿐만 아니라 이를 지원할 플랫폼, 인프라, 그리고 협력 시스템이 뒷받침되어야 성공할 수 있다.

마지막으로, AI 도입은 단순한 유행이 아니라, 기업의 경쟁력을 강화하고 새로운 기회를 창출하는 중요한 전략적 결정이다.

AI의 잠재력을 제대로 활용하고 싶다면, 핵심 기술에 대한 이해를 바탕으로 치밀한 준비와 계획을 세우는 것이 필요하다.

이 글이 AI를 도입하고자 하는 기업의 여정에 작은 나침반이 되길 바란다.