LLM과 생성형AI를 공부하기 위한 10가지 필수요소 #1

 

안녕하세요 한스토리입니다.

 

알파고 바둑사태 이후로 대중들에게 각인되어버린 인공지능 분야는 그 이후로 계속 발전하더니, 

어느덧 대부분의 과학기술에 AI가 적용되고 있거나 혹은 적용하기 위해 연구중인 분위기가 되어버렸습니다.

 

특히 ChatGPT는 출시 후 약 두 달만에 1억명의 사용자를 확보하며 세상을 뒤흔들어 놨고, 심지어 요새는 chatGPT를 이용하여 무지성으로 블로그 포스팅을 올리는 사람들도 계속 늘어나는 듯 합니다.

 

이러한 분위기 속에 몇년 후 초등학생들에게는 코딩 교육이 의무화가 된다고 하고, 머신러닝과 딥러닝은 집에서 인터넷 강의와 무료 프로그램들로도 공부를 할 수 있는 세상이 되었고, 생성형 AI를 직접 공부해보고 싶은 사람들도 많아지고 있습니다.

 

단순 공부가 아니라 이 분야의 공부가 필수가 되어버린 사람들도 꽤나 있을 듯 합니다.

인공지능 챗봇을 개발해야 한다거나, 무언가 내가 원하는 것을 자동으로 작성하는 프로그램을 만들어 보고 싶다거나..

 

그렇게 조금 더 깊게 인공지능을.. 그 중에서도 특히 언어모델과 관련한 생성AI 공부가 필요한 분들을 위해 준비했습니다.

 

초거대언어모델 (LLM, Large Language Models)과 생성형 AI를 공부하기 위해 필요한 10가지 요소

 

 

 

(주요 용어에 대한 설명이나 이론적인 설명이 아니라, 어떤 것을 공부해야 하는지 항목에 대한 내용임을 미리 말씀드립니다)

 

---

 

1. LLM 기초  

 

ChatGPT가 사람의 질문을 알아듣고 맥락과 뉘앙스를 이해하면서 자연스러운 문장 구성의 답변을 할 수 있는 능력을 갖게 된 것에는 초거대언어모델(LLM)이 밑에 깔려있기 때문입니다.

 

 

 

LLM에서 데이터가 무엇에 대해 훈련되고 가공되는지, 또한 데이터의 편향성과 기타 문제들에 대해 이해한 후 알고리즘을 어떻게 구성할 수 있을 것인지..  

또한 LLM에서 학습 모델이 얼마나 클 수 있으며 여기에 학습 비용은 어느정도일지에 대한 선행 연구가 필요합니다.

 

 만들고자 하는 것이 챗봇인지, Q&A 시스템인지, 혹은 이미지 생성기를 원하는 것인지 등  목적을 명확히 설정하여 그 목적에 맞는 계획을 세우는 것이 매우 중요합니다.

 

 

2. 프롬프트 엔지니어링 

 

프롬프트 엔지니어가 억대의 연봉을 받는다는 이야기는 벌써 시간이 꽤 지나버린 이야기일 정도로, 생성 AI 사용자에게 있어 프롬프트는 꽤나 익숙한 용어입니다.

 

ChatGPT를 포함하여 이미지 생성기든 어떤 생성형 AI 프로그램을 사용하더라도, 프로그램에 우리가 어떤 질문 혹은 명령을 넣어줘야 AI 프로그램이 그 질문, 명령에 맞는 결과물을 뽑아냅니다.

질문이 잘못되면 결과물은 당연히 잘 나오지 않기 때문에  흔히 AI 시대는 '질문을 잘 하는 사람이 중요하다' 라는 말을 하기도 하죠.

 

여기서 프롬프트라는 것이 바로 '질문' 이라고 보시면 됩니다.

 

 

 

주변에서 ChatGPT를 쓰거나 다른 프로그램을 쓰는 경우를 봐도, 단순히 필요한 질문만 던지고 답변만 받는 사람도 있고 정말 고차원적인 결과물을 얻어내는 사람도 있고..  직접 해보면 해볼수록 이 분야도 생각보다 쉽지 않다는 것을 알게됩니다

(하나의 프로그램 프롬프트만 해도 공부할게 끝이없어요..)

 

 

 

3. OpenAI를 통한 프롬프트 엔지니어링 

 

2번 항목에 이어서, OpenAI도구를 통해 프롬프트 엔지니어링을 공부하는 것을 추천합니다.

최신 버전 OpenAI API를 사용하고, 플러그인도 이것 저것 사용해 보면서 최신 기술 동향을 계속 익혀나가야 합니다.

 

chatGPT 4버전만 하더라도, 굉장히 많은 플러그인을 지원하고 있는데 (유료입니다.)

예를들면 이미지 생성 프로그램인 미드저니(MidJourney)에서 그림을 뽑아내기 위한 프롬프트 작성도 있고 블로그에 특화되거나 기사에 특화된 플러그인  등.. 너무 많아서 다 작성할수도 없을 정도입니다.

 

아무래도 현재까지 가장 강력한 도구를 활용한 엔지니어링 방식이 결과 또한 가장 강력하겠죠? 

 

 

 

4. 질의응답 LLM 

 

질의응답 LLM이란, 특히 질문-답변에 특화된 거대언어모델 이라고 볼 수 있습니다.

책, 기사 등의 텍스트를 포함하여 방대한 데이터셋을 통해 단어와 구문 사이의 관계를 학습하여 질문과 답변의 의미를 이해하게 됩니다. 

 

 

통신사를 포함해서 어딘가에 문의를 해야할 때 업체에서 챗봇을 통해 질의응답을 받는 경우가 많습니다.

대부분 정해진 버튼에 따라 정해진 답변이 나오고, 결국 상담사 연결로 이어지는 경우가 많고.. 간혹 인공지능 챗봇이라고 되어있긴 하지만 맘에 들지 않죠..

개인적으로 화나는일도 정말 많..

 

하지만 온라인을 통해 개인적으로 사업을 시작하는 분들이 많아지면서 챗봇을 만들어주는 회사가 생겨날 정도로, 질의응답 챗봇의 중요성이 매우 커지고 있습니다.

 

앞 내용과 이어지기는 하지만 어떤 데이터를 토대로 어떻게 학습시키느냐에 따라 고객을 열받게 하는 챗봇이 나올 수도 있고 어느정도 자동화가 가능한 인공지능 챗봇이 될 수도 있을 것 같습니다.

 

 

 

5. 튜닝 (미세 조정)

 

문자 생성과 요약, 질의응답 등의 다양한 작업에 있어서 LLM의 성능을 보다 개선시키기 위해서는 튜닝(미세 조정)이 필요합니다.

후처리 개념이라고 보시면 좋을 것 같습니다

 

또한, 고객 서비스, 의료 진단 시스템과 같은 특정한 어플리케이션에 맞게 LLM을 커스터마이징하기 위해 사용하기도 합니다.

 

 

 

LLM을 튜닝하는 방법은 여러가지가 있는데,  일반적으로는 지도학습을 사용합니다.

 

여기서 말하는 지도학습에는 레이블링된 데이터의 데이터셋으로 구성된 LLM 모델을 말하며, 이러한 LLM은 손실 함수(Loss function)을 최소화하여 입력값을 출력값에 매핑하는 방법을 학습하게 됩니다.

 

 

---

 

여기까지 해서 LLM과 생성AI를 공부하고 개발하기 위해 필요한 기초 공부요소 10가지 중 5가지를 알아보았습니다.

 

개념적으로만 정리하다보니 그닥 와닿지도 않고 어려운 용어만 나열되어 있는 느낌이 좀 있네요..

 

다음 편에 나머지 6~10번 요소를 알아본 후 차근차근 하나하나 좀 더 구체적으로 알아보고,

가능하다면 직접 테스트도 해볼 수 있는 시간이 될 수 있으면 좋을 것 같습니다.

 

긴 글 읽어주셔 감사합니다