워크샵: 인공지능에 대한 친절한 안내

어제 'A Gentle Introduction to AI: Train the Trainers'라는 온라인 행사가 있어서 참가했다.

예전에 '두낫페이(Do not pay)'라는 챗봇을 보고 자연어처리를 공부하러 쫓아다니던 때가 생각나더라. 유데미에서 강의 끊고 자연어 처리가 뭔지에 대해서 검색하며 공부하던 시간들.
기본적으로 'Bag of Words'라는 방식부터 'RNN'에 이어 'LSTM'의 등장이유 같은 것들을 들여다보면서 약간 이해하기 시작했는데, 그 당시 카카오가 만든 챗팅서비스가 'CNN'을 기반으로 했던가 그랬던 것 같다. 곧이어 구글에서 'BERT'라는 게 나오면서 그동안 내가 뭘한 거지 싶더라.
정말 아찔할 정도로 자꾸 바뀌니까 이렇게 뒤따라 공부만하다가 정작 리걸테크에 응용할 서비스는 도저히 만들지 못하고 끝나나 싶었다.
전략을 수정해서 괴수들이 만들어 놓은 챗봇 빌딩 서비스를 이용하기 시작했다. 구글의 'DialogFlow'를 가장 먼저 써봤고, IBM의 Watson을 사용해봤다. IBM은 Watson을 사용하기 전에 챗봇에 관한 기본적인 교육을 아주 친절하게 해준 덕분에 이해가 굉장히 잘 되더라.
그런데 비용과 현실적인 사용에 있어서는 MS의 QnA maker가 가장 낫더라. QnA Maker는 엑셀 등으로 정리된 FAQ 형태의 자료가 있으면 곧바로 해당 자료를 기반으로 자연어처리에 필요한 학습을 제공해줘서 프로세스 정리만 잘하면 응용해서 써먹을 수있다는 점이 실용적으로 맘에 들었다.
QnA Maker는 어찌보면 요새 유행하는 '검색증강생성(RAG, Retrieval-augmented Generation)'과 꽤 유사한 개념을 갖고 있지 않나 싶다.

아무튼 어제 있었던 워크숍에서 각 낱말(word)을 벡터화해서 박아놓고 대응해서 번역하는 구조를 설명해줬는데, 이는 고립어화 되어진 유럽언어들 사이에서는 대응이 쉽겠으나 교착어로서 변화가 무궁무진한 한국어는 실무적으로 굉장히 어려울 수 밖에 없다.

자연어처리에서 외국 강의를 듣다가 그 강의들을 버린 까닭이 우리 말에 적용을 할 수가 없었기 때문이다.

근데 컴퓨터 자원이 어머어마어마하게 풍부해지고 계산도 쉬워(?) 지면서 그 수많은 변화를 몽땅 때려박아서 '패러미터'화 한 다음에 학습을 시켜버리니(일단 암기를 시켜버리는 것과 비슷하다고 나는 이해한다) 이해는 못해도 암기한게 워낙에 많아서 '이게 되네'하는 상황에 이르렀다.

울 어머니께서는 예전에 세상 걱정 중에 '돈 걱정이 제일 해결하기 쉬운 걱정'이라고 하셨는데, 상상도 못했던 돈을 들여야 가능한 수준에 이르고 보니 그건 정말 이제는 통하지 않는 통찰이라고 밖에 말할 수 없다고 하지 않을래야 않을 수가 도저히 없는 세상이다.

자연어처리를 공부하면서 이제는 아무짝에도 쓸모없는 걸 왜 배웠나 스스로 비웃기도했는데, 나처럼 컴맹에 아무것도 모르는 사람들을 이해시키기에 딱 좋은 과정을 겪었던 거란 생각에 이르니 '배워서 나쁠 것 하나 없다'는 말이 실감난다.

엄청나게 빠르게 세상이 변하고 도저히 쫓아가기도 벅차지만 지수함수적인 또는 기하급수적인 변화도 'Deceptive' 단계가 있다. 일종의 잠복기 비슷하게 가라앉아 있으면서 비약적인 성장을 준비하는 단계.

오늘의 학습이 여러분들에게 그런 시간이 될거라고 믿는다.

참고할 자료: 

Peter Diamandis & The Six Ds - Deceptive Phase | Singularity (su.org)

Peter Diamandis & The Six Ds - Deceptive Phase | Singularity

workshop-library/full/a-gentle-introduction-to-Azure-AI at main · microsoft/workshop-library · GitHub