개쩌는 개발자 될 사람

과제랑 프로젝트랑 시험 준비까지 하면서 조금 바쁘네요...그래서 이번 주는 기말고사 범위에 있는 Transformer 아키텍처에 대해 정리하는 것으로 날먹 한 번 하겠습니다. Transformer는 사실 오늘 작성할 포스트의 챕터 하나하나만 따로 별도의 글로 작성해야 할 정도로 깊고 넓은 분야의 LLM 모델입니다.그런데 이번 포스트에서는 트랜스포머의 자세한 부분까지 구체적으로 뜯어 파헤치기보다는 시험에 나올 정도로만 전반적인 흐름과 구성요소를 살펴보는 느낌으로 알아보겠습니다. 🔍 목차00. Transformer?기존 RNN 기반 모델의 한계Transformer 구성 요소01. Perceptron과 MLPPerceptron?Perceptron으로 푸는 논리게이트와 XORMLP (Multi Layer P..

작년 처음 프로그래밍 공부를 시작하고 4개월 차쯤에 1~2주 정도 기간 동안 간단하게 저의 도서 쇼핑몰 사이트에 챗봇을 붙여 넣는 토이 프로젝트를 진행하게 되었습니다.정말 병아리 시절이라 (사실 지금도 ...) 차마 저 허접한 코드를 다시 돌려보는 게 스스로 부끄럽고 굉장히 오글거리는데요...이때가 제가 LLM을 활용한 프로그래밍에 관심을 갖기 시작했던 시기였습니다.조잡하긴 하지만 같은 기관에서 공부하던 동료 개발자 한 분으로부터 제가 SQL을 미리 정의해놓고 적절한 테이블을 조회하는 함수를 프롬프트에 달아놓는 방식이 마치 RAG와 같다고 했습니다.그때 RAG라는 단어를 처음 접하기도 했습니다. 어찌 되었든, 그로부터 몇 달이 지난 후 이제서야 RAG에 대해 자세히 알아보고 공부하게 되었는데요, 이번 포..

2020년대에서 가장 빠르게 발전하고 있고, 가장 이슈가 되는 분야를 생각해 보면 단연 AI라고 할 수 있습니다.정말 다양한 AI 서비스들이 나오고 있지만, 이 AI 시장에서도 가장 핫한 분야는 아무래도 LLM (Large Language Model)이라고 할 수 있는데요, Chat-GPT의 등장 이후로 이 언어 모델을 얼마나 잘 활용하느냐에 따라 업무 효율과 정보 습득의 속도 차이는 어마어마하다고 볼 수 있습니다. 저는 GPT-3.0 시절인 2023년 3월부터 꾸준히 유료 구독을 하여 어느덧 구독한 지 2년이 되었는데요, 지금까지 OpenAI에 바친 돈이 50만 원을 넘는다고 생각하면 큰돈인 듯싶지만 저는 그 이상의 가치를 GPT로부터 돌려받았다고 생각합니다.GPT와 같은 언어 모델들은 사용자에 따라 ..