목록SESAC LLM 개발자 강의 (20)

잇연

[sesac LLM] day41-240229 DL 히든레이어,ReLu, Softmax

- Hidden Layer를 지날 때마다 무슨 함수를 써야하나?  activation function을 써야한다. 이전에는 주로 sigmoid 함수가 사용되었지만, 현재는 ReLU(Rectified Linear Unit) 함수가 더 널리 사용된다. - 왜 sigmoid를 쓰다가 현재는 ReLU를 많이 쓰는가?  sigmoid 함수는 기울기가 소실(Vanishing gradient)되는 문제가 있다. 입력이 크거나 작을 때 sigmoid 함수의 미분값이 매우 작아지기 때문에 발생한다. 따라서 역전파 과정에서 기울기가 계속해서 작아져서 최상위 층에 도달할 때까지 거의 소멸될 수 있다. 이러한 현상은 네트워크의 학습을 어렵게 만들고, 학습 속도를 느리게 하며, 영향력이 감소하게 된다. 또한, 입력이 0에 가까..
SESAC LLM 개발자 강의 2024. 2. 29. 17:30
[sesac LLM] day40-240228 DL binary classification 이진분류

복습single nueron model인 퍼셉트론은 선형 모델로 구성된다. input값과 그 입력의 weight가 곱해져 모델이 만들어진다. 가중치(weight)와 편향(bias)은 모델의 매개변수로, 모델의 출력을 결정한다. 각각의 입력에 대해 강도를 곱해야 하므로, 입력(input)값과 강도(weight)의 크기는 일치해야 한다. 예를 들어, (1,3)이 입력되면 (3,1)의 가중치(weight)를 갖게 되며, 이를 기반으로 하나의 출력값이 생성된다. 이 출력값과 정답값 사이의 오차를 계산하여, 경사 하강법을 사용해 가중치를 조금씩 업데이트한다. wieght, bias는 연구자가 지정하지 못하고 모델이 조금씩 변화하면서 바꿀 수 있는 값들이다. 경사하강법을 통해서 weight와 bias의 최적의 값을..
SESAC LLM 개발자 강의 2024. 2. 28. 13:18
[sesac LLM] day39-240227 딥러닝 선형회귀모델, 파이토치 사용

머신러닝 VS 딥러닝:머신러닝 :장점 : 보다 긴 역사를 가지고 있다. 많은 구현체, 검증된 방법론들이 있다. 다양한 요건에 대한 방법론이 존재한다. 작은 데이터로 빠른 성능에 도달하기도 한다.단점 : 특정분야에서 딥러닝보다 정확도가 떨어진다. 손이 많이가고 피처가 매우 많을 때 현실적이지 않을 수 있다.딥러닝 :장점 : 특정분야에서 드라마틱한 성능 향상을 할 수 있다. feature selection 에 큰 공을 들이지 않더라도 모델이 end to end로 학습하고 선별하는 경우가 많다.단점 : 상당히 많은 라벨 데이터가 필요할 때가 많다. 작은 양의 데이터로는 Under fit되는 경우가 ML의 경우보다 더 많다. GPU 및 Big Data Scale Computing 환경 등, 고사양 Big Dat..
SESAC LLM 개발자 강의/DL 딥러닝, LLM 2024. 2. 27. 09:27
[sesac LLM] day38-240226 DL 딥러닝 첫수업, 퍼셉트론이란

기존 프로그래밍: 기존 프로그래밍은 사전에 정의된 규칙을 바탕으로 컴퓨터에게 명령을 내리는 방식이다. 예를 들어, 고양이를 인식하는 모델을 만들기 위해, 고양이의 특징(동그란 얼굴, 뾰족한 귀 등)을 사전에 정의하고, 이러한 특징에 기반해 고양이 이미지를 분류한다. 이 방식은 명확한 규칙을 설정할 수 있는 경우 유용하지만, 복잡한 문제에서는 규칙을 모두 정의하기 어렵다는 한계가 있다. 기계학습: 기계학습은 대량의 데이터를 활용해 컴퓨터가 스스로 패턴을 학습하는 방식이다. 지도학습, 비지도학습, 강화학습 등 다양한 유형이 있다. 지도학습은 레이블이 붙은 데이터를 사용해 학습하며, 비지도학습은 레이블 없이 데이터의 숨겨진 패턴을 발견하는 데 초점을 맞춘다. 강화학습은 특정 환경에서 보상을 최대화하는 방법을 ..
SESAC LLM 개발자 강의 2024. 2. 27. 09:27
[sesac LLM] day33-240219 ML 트리모델, 앙상블★

학습목표 : 앙상블을 배워보자. 트리모델 발전과정 Decision Tree-> Random Forest-> AdaBoost-> GBM-> XGBoost LightGBM CatBoost 앙상블(Ensemble)이란? 여러개의 결정트리를 결합하여 하나의 결정 트리보다 더 좋은 성능을 내는 머신러닝 기법 앙상블 학습의 핵심은 여러 개의 약 분류기(Week Classifier)를 결합하여 강분류기(Strong Classifier)를 만드는 과정 여러개의 단일 모델들의 평균치를 내거나 투표를 해서 다수결에 의한 결정을 하는 등 여러 모델의 집단 지성을 활용하여 더 나은 결과를 도출해내는 것이 주 목적에 있다. input->분류기1,분류기2,분류기3,...분류기n-> 앙상블-> 투표 or 평균 장점 : 1) 성능을..
SESAC LLM 개발자 강의 2024. 2. 20. 02:27
[sesac LLM] day32-240216 ML 하이퍼파라미터 조정 방법, Encoding

오늘의 학습 목표 : 하이퍼파라미터 조정방법을 알아보자./ Label-Encoding, One-hot Encoding을 알아보자목차 Hyperparameter-optimization 의 개념Hyperparameter-optimization 실습(1) 수동튜닝(2) GridSearchCV(3) RandomSearchCV(4) Optuna(5) RaytuneEncodingHyperparameter Optimization의 개념하이퍼파라미터 최적화하이퍼파라미터 최적화(Hyperparameter Optimization)는 머신러닝 모델의 성능을 최대화하기 위해 최적의 하이퍼파라미터를 찾는 과정을 말한다. 하이퍼파라미터는 모델 학습 전에 설정되는 파라미터로, 학습 과정 자체에 의해 조정되지 않는다. 하이퍼파라미터..
SESAC LLM 개발자 강의/ML 머신러닝 2024. 2. 16. 15:46
[sesac LLM] day31-240215 기계학습(Machine Learning) 기초개념, 의사결정모델

목차기계학습정의기계학습의 3가지 타입 - 지도학습, 비지도학습, 강화학습회귀와 분류클러스터링머신러닝의 전체과정머신러닝의 종류머신러닝실습- 결정트리분류기(DecisionTreeClassifier)EDA실습머신러닝실습- 결정트리회귀기(DecisionTreeRegressor)기계학습정의- 프로그래밍 : 데이터, 알고리즘 -> 컴퓨터 -> 출력결과- 기계학습 : 데이터, 출력결과 -> 컴퓨터 -> 알고리즘 인공지능 : 컴퓨터가 사람처럼 생각하고 판단하게 만드는 기술머신러닝 : 인간의 학습능력과 같은 기능을 컴퓨터에 부여하기 위한 기술딥러닝 : 인공지능 신경망을 기반으로 한 머신러닝 방법론 중 하나기계학습 (Machine Learning 머신러닝)의 3가지 타입지도학습 (Supervised Learning)레이블..
SESAC LLM 개발자 강의/ML 머신러닝 2024. 2. 15. 15:43
[sesac LLM] day30-240214 과제

과제에 대해서 중요한 내용들 공부import pandas as pdimport seaborn as snsdf = sns.load_dataset("titanic")df.head()타이타닉 데이터셋을 불러온다. 문제 1. 행과 열의 갯수를 출력한다.-> 행과열은 shape으로 나타낼 수 있다. df.shape 해주면 행과 열의 개수가 나온다. 문제2. 결측치 수 세기->결측치는 isnull로 확인할 수 있는데, df.isnull()을 해주면 null값인지 아닌지 True, False의 결과가 나온다.-> 따라서 df.isnull().sum()을 해줘야 결측치 개수가 나온다. 문제3. alive 의 컬럼의 값을 그룹화해서 세어준다.-> groupby().size를 통해 그룹화하거나 value_count를 활용..
SESAC LLM 개발자 강의/ML 머신러닝 2024. 2. 14. 17:30
이전 Prev 1 2 3 Next 다음