[sesac LLM] day1- 240102 특강, 수업첫날

오전 - 외부 특강

인공지능 역사

• 1956 인공지능: 탐구와 논의의 초기 단계, 기본적인 규칙 기반 시스템
• 1997 머신러닝: 데이터 기반 학습, 알고리즘의 성능 향상으로 패턴 인식과 예측 가능
• 2012 딥러닝 - 신경망 레이어: 다층 신경망과 역전파 알고리즘의 발전으로 복잡한 문제 해결 가능
• 2020 생성형 AI: 언어모델 기반의 프롬포트 및 기존 데이터를 활용하여 창의적으로 문서, 시각, 청각 콘텐츠를 생성하는 기술

AI트렌드

1. AI 역사와 트렌드
   1. AI의 역사
      • 1956 인공지능: 탐구와 논의의 초기 단계, 기본적인 규칙 기반 시스템
      • 1997 머신러닝: 데이터 기반 학습, 알고리즘의 성능 향상으로 패턴 인식과 예측 가능
      • 2012 딥러닝 - 신경망 레이어: 다층 신경망과 역전파 알고리즘의 발전으로 복잡한 문제 해결 가능
      • 2020 생성형 AI: 언어모델 기반의 프롬포트 및 기존 데이터를 활용하여 창의적으로 문서, 시각, 청각 콘텐츠를 생성하는 기술의 진보, GPT-3 등의 모델 도입으로 대화 및 창의적 작업에 활용
   2. Chat GPT의 등장, AI 트렌드
      • AI 인공지능은 이전에도 있는 개념이었다. 하지만, 일반인들에겐 너무 어렵고, 접근하기 힘든 개념이었다. GPT3이 등장한 이후로 개발자가 아닌 많은 사람들이 채팅으로 인공지능 답변을 얻을 수 있게 되었고, 개발을 하거나 공부하는 사람이 아니더라도 누구나 쉽게 접할 수 있게 되었다. 위협적인 AI, 일자리를 없애는 AI 라는 인식에서 벗어나 내 생활, 내 업무에 도움되는 AI라는 인식이 높아졌다.
      • 많은 산업군이 AI기능을 빠르게 접목시켰다. 앞으로는 AI기능은 모든 산업군에서 선택이 아닌 필수가 되었고 시간을 엄청나게 단축시키는 AI기능은 이제 모든 산업군의 서비스와 결합되어 새로운 비즈니스 환경을 만들어낼 것이다.
2. LLM vs SLM
   1. LLM(Large Language Model)은 대규모 언어 모델을 나타냅니다. 이는 매우 큰 양의 데이터로 사전 훈련되어 다양한 언어 작업에서 사용될 수 있는 범용적인 언어 이해 능력을 갖추고 있는 모델을 의미합니다. GPT-3는 LLM의 한 예로, 1750억 개의 파라미터를 갖춘 대규모한 언어 모델
   2. 반면에 SLM(Small Language Model)은 규모가 작은 언어 모델을 나타냅니다. 이는 일반적으로 적은 양의 파라미터와 훈련 데이터를 사용하여 만들어진 모델을 의미합니다. SLM은 LLM보다는 특정 작업에 특화되어 있거나, 리소스가 제한된 환경에서 사용되기 적합한 모델일 수 있다.
   ⇒ LLM은 필수적이지만, 학습모델을 통해서 LLM을 만든다는 것은 천문학적인 비용과 시간이 들어간다.
3. Foundation Model(멀티모델)
4. AI Chipset
5. 활용분야
6. 글로벌 기업의 전략

AI개발자의 역량

1. AI의 이해
2. 관련 기술들
3. Copilot Stack
4. 준비해야할 것들

 

---

오후 - 수업

본격 수업에 앞서 개발자로서 필요한 이야기들을 주로 말씀하셨다.

인공지능 개발자로 살아남기

인공지능과 인간지능은 다른가?

→ 인공지능과 인간지능은 본질적으로 다르지 않다.

데이터를 학습, 만드는 것도 다 사람, 그래서 다르지 않다.

• Decomposition : 분해
• Pattern Recognition : 귀납적 사고
• Abstraction : 연역적 사고
• Algorithmic Desgin: 알고리즘

을 바탕으로 일관되게 사고하게 만드는 것

인공지능이 오히려 가장 인간다운 사고일 수 있다.

 

인공지능 문제의 본질

→ 인공지능 문제의 본질은 ‘속도’에 있다.

→ 인공지능이 대체하는 것은 인간의 지식 노동

→ 과잉공급을 소비가 받아주지 못할 정도로 파괴적인 속도

 

인공지능 시대 개발자의 자세

우리는 빠른 속도에 적응해야 된다. 빠른 학습능력과 빠른 의사결정이 필요하다.

⇒ 방법1 : 구조를 훔쳐라

돈을 훔치면 도둑이 되지만 돈버는 방법을 훔치면 부자가 된다.

내용을 훔치면 비난 받지만 구조를 훔치면 박수를 받는다.

 

⇒ 방법 2 : 생각을 Reverse Engineering하기

거꾸로 사고 해야 한다. 사람들이 어떻게 생각하는 구조를 만들어왔는가, 사고 패턴에 집중해야 한다. 어떤 사람이 만들어낸 결과물에 대해서

어떤 구조를 갖고 있기에 이런 사고를 생각할 수 있었을까 빠르게, 유심히 파악해라. 학습이 빨라진다.

LLM(대규모 언어 모델)도 마찬가지로 사람의 사고 패턴을 학습한다. 이 모델은 분기적 사고를 통해 인간의 사고 패턴을 학습하며, GPT와 같은 모델 역시 최종적으로는 인간의 패턴을 모방하고자 한다. 따라서 어떻게 생각을 구성하고 발전시키는지를 파악하는 것이 중요하다.

 

현실적인 조언들

1. 구글을 잘 활용할 것robots.txt는 웹 크롤러들이 접근하지 못하도록 제한하는 규약이다
2. 외부글이 아닌 해당 검색엔진 데이터 위주로만 검색되는 검색엔진이 있다. 따라서 그런 사이트만을 사용하면 지식과 단절될 수 있다. 갈라파고스의 현장.
3. 개발 문서를 잘 읽자. 되도록이면 영어로
   1. get started, installation관련 내용은 꼭 정독하자.
   2. stackoverlflow랑 gpt만 보면 내가 정작 필요한 정보를 습득하지 못하고 시간을 더 쓰게 될 수 있다. 개발 문서..! get started만이라도 정독해라.
4. CS를 공부하자.
   1. CS 공부하자. 운영체제, 네트워크, 컴퓨터 구조 등. 개발언어 위주로만 공부하면, 개발 환경 셋팅이나, 개발에서 실질적으로 운영되면서 나오는 문제를 해결할 수 없다.
5. 개발 일지를 쓰자
   1. 어떤 코드를 짜보고, 어떤 새로운 코드를 발견했는지 기록하자.
   2. TDD, 테스트주도개발을 해보고, 단순히 통과하는 것에 그치지 말고 리팩토링을 어떻게 깔끔하게 할 수 있지? 에 대해서 고민해보고, 고민해본 과정에 대해서 써보자.
6. 알고리즘을 활용하세요 (유튜브)
   1. 개발관련 지식 습득 루틴을 만들자
   2. 유튜브 알고리즘은 내가 찾아보지 않아도 계속 개발 관련 새로운 지식들을 습득하도록 돕는다.

개발문서 보는법

어느 언어나 라이브러리나 공식문서가 존재.

get started 와 tutorial들을 확인하는 습관을 갖자.