Chat GPT의 탄생이야기 : 카이스트 김대식 교수 영상 일부 요약

 

Chat GPT가 탄생하기까지

작년 11월 30일 Open AI에서 Chat GPT라는 새로운 소프트웨어를 공개했다.

기존 인공지능史에서 [언어 처리]야말로 절대로 해결이 되지 않았던 분야인데, 이번 사건이 그 상식을 깬 것이다.

 

인공지능이라는 분야는 이미 1950년도부터 제안되었던 분야이다. 인공지능의 발전은 최초 기계 학습(=머신 러닝)을 통해 추진되었다. 고양이 사진을 보여주고 이것이 고양이다라고 기계에계 학습을 시키는 개념이다. 하지만 이 방법은 30년 동안 실패를 했었다.

 

2010년도에 심층 학습(=딥러닝)이라는 이름으로 이 방법이 다시 떠오르기 시작했다. 기존 머신러닝과의 차이점은 학습에 사용할 수 있는 데이터가 상상을 초월할 정도로 늘어났다는 점이다. 이를 통해서, 기계가 세상을 식별하고 알아볼 수 있게 되었다. 지금 우리가 스마트폰을 통해 활용하고 있는 Face ID 기능이나 자율주행 차량이 차와 사람 등을 식별할 수 있는 것이 이 기술이 상용화 되었기 때문이다. 이 시점에서부터 엔비디아社의 gpu 병렬 프로세서들이 급격하게 니즈가 늘어났다. 심층 학습에 필요한 데이터 처리에 필수적이기 때문이다. 하지만 이 기술이 어느덧 적용할 수 있는 분야에 대부분 적용이 되었고 그로 인해 엔비디아 주가는 정점을 찍고 다시 내려오기 시작했다. 작년에.

 

구글의 바스바니라는 인도 출신 과학자가 트랜스포머라는 새로운 알고리즘을 제안했다. 트랜스포머 알고리즘의 핵심은 더 이상 수십만 수백만 단위의 데이터가 아니고 수천억 또는 조단위 단위의 데이터를 학습할 수 있는 능력이다. 구글에서 개발한 트랜스포머는 수천억 개의 단어와 문장 사이의 확률적인 관계를 동시에 학습할 수 있는 병렬 프로세스가 가능한 알고리즘을 제안했다. 기존에 인간의 언어는 문법이라는 체계와 복잡한 구조를 가지고 있어서 기계가 학습을 할 수 없다는 의견이 지배적이었다. 언어학습은 인간의 고유능력이며, 머신러닝 및 딥러닝으로는 학습이 불가능하다는 것이다. 그리고 여태까지의 인공지능 결과물도 그래왔다. 하지만 트랜스포머 방식은 언어를 확률적인 방법으로 접근했다. 가령 '오늘 00 뭐 먹지' 라는 문장에서 00에 들어갈 단어는 확률적인 분포를 가진다는 것이다. 높은 확률로 점심, 저녁 등의 단어가 나올 수 있을 것이고 의자, 책상 등의 단어는 저 문장에 포함될 확률이 지극히 낮다.

 

구글의 트랜스포머 알고리즘으로 처음에는 인터넷 상에 있는 모든 문장에 대하여 딥러닝을 진행하고, 단어들의 확률분포를 계산해 냈다고 한다. 마치 자동차의 네비게이션처럼 문장의 네비게이션이 만들어 진 것이다. 그리고 이를 개도국 등 인건비가 저렴한 국가의 사람을 고용하여 AI가 생성해 낸 문장의 좋고 나쁨을 판단시켰다고 한다. 즉, 인터넷 상의 모든 글에 대한 학습과 인간의 평가를 통해 인공지능의 [언어처리]가 학습된 것이다.

 

구글은 이러한 알고리즘을 만들었지만 세상에 공개하지는 않았다. 기존의 인터넷 질서는 '검색'이 주류이다. 내가 필요한 정보를 키워드형으로 '검색'을 하고 구글이나 네이버 혹은 유튜브 등은 타인의 인터넷상의 기록을 링크 형태로 검색결과에 보여주면 사용자는 그 링크에 접속해서 정보를 취합하는 식의 방식이다. 이러한 방식 위에 기업 등으로부터 광고비용을 받고 상위 노출을 시켜주거나 사용자가 원하는 것으로 판단되는 광고를 띄우거나 하면서 수익을 창출하는 것이 구글을 비롯한 요즘의 IT기업의 돈 버는 방법이다. 하지만 [대화형 인공지능]은 이러한 기존의 질서를 깨부수는 방법이다. 사용자의 문장을 이해한 인공지능이 알아서 검색을 하고 그 결과를 정리를 해 주니, 정보 검색에 링크가 필요없고 광고가 들어올 자리가 없는 것이다. 그리하여 구글이 이러한 알고리즘을 만들어내고도 세상에 공개하지 않았나 하는 추측이 있다.

 

하지만 작년 11월, 오픈AI가 챗GPT라는 프로그램을 공개했다. Chat GPT는 'Generative Pretrained Transformer'의 약자이다. 여기서 트랜스포머가 위에 상술한 구글이 개발한 알고리즘이고, 이를 기반으로 프리트레인드, 미리 학습된 내용을 바탕으로 제너레이티브, 생성을 해주는 채팅이라는 뜻이다. 구글은 챗GPT의 공개를 경영상의 심각한 위기라고 인식하고 있다고 한다. 회사의 근간이 흔들릴 수 있다는 위기감이다.

 

---

이상으로 아래 영상을 보고 Chat GPT의 탄생일화에 대한 이야기를 요약해 보았다. 세부적인 이야기는 영상을 참고해 보도록 하자. 생각해볼만한 내용이 꽤나 있다.

 

카이스트 김대식 교수 | (1부) “인공지능 시대에 애플의 움직임이 없는 이유” 처음 듣는 챗GPT 이야기 - YouTube