반응형 DeepLearning6 Gradient-Based Optimization Off-the-shelf gradient-based optimization Gradient descent, L-BFGS, Conjugate gradient 등 방법 들이 있습니다. 그러나 위 방법들은 매개변수(parameters)가 많아질 수록 시간이 오래걸립니다. 그 이유는 훈련 샘플 전체의 Loss 는 각 샘플에 대한 Loss 의 합으로 구해지며, 데이터가 많아 질수록 오래 걸리기 때문입니다. 확률적 경사 하강법(Stochastic Gradient descent) 1. M개의 훈련 샘플을 선택합니다. 이를 미니배치(Mini batch) 라고 합니다. 2. 미니배치 경사를 계산합니다. 3. 매개변수를 업데이트합니다. 4. 검증 세트로 구한 validation loss 가 더 이상 진전이 없을때까지 진행.. 2022. 3. 28. Deep Learning Model for Anomaly Detection: Survey 1. What are Anomalies? 1) Anomaly v.s. Novelty - Anomaly : 정상 데이터와 본질적으로 다름 - Novelty : 정상 데이터와 본질적으로 같지만 유형이 다름 - ex) 호랑이가 정상데이터일 때, 백호는 Novelty, 그 밖에 말, 치타 등은 Anormaly (Figure 4) 2) Type of Anomalies - Point : 말 그대로 이상치 -> 정상과 본질적으로 다른 희소한 데이터(발생 빈도가 매우 낮음) - Contextual of Conditional : 조건부 이상치 -> 특정 조건이 충족될 때 이상치로 판단될 수 있음 - Collective or Group : 한 번 이상치가 발생할 때, 대규모로 발생하는 경우 ex. 디도스 공격 3) Lab.. 2022. 1. 9. [Tensorflow] 회귀(Regression) 신경망 실습 본 실습은 Sklearn Boston 데이터 셋을 활용했습니다 1. Import Library and Random seed import numpy as np import tensorflow as tf np.random.seed(0) tf.random.set_seed(0) 2. Load Dataset and check target # target check - continuous from sklearn import datasets raw_boston = datasets.load_boston() X = raw_boston.data y = raw_boston.target print(X.shape) print(set(y)) 3. Train / Test Split # Split from sklearn.model_.. 2022. 1. 7. [Tensorflow] Tensorflow로 신경망 구조 만들기 텐서플로로 신경망 구조를 만드는 방법은 크게 2가지가 있다. 1. 시퀀스 API 사용 2. 함수형 API 사용 시퀀스 API 사용 - 텐서플로에서 제공하는 Sequential()을 통해 딥러닝 구조의 층을 쌓을 수 있음 - Sequential() 선언 후, model.add() 함수를 입력함으로써 실제로 층을 쌓음 - Sequential() : 신경망 모형을 선언, 생성하는 역할 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense model = Sequential() model.add(Dense(100, activation='relu', input_shape=(32, 32, 1)) model.add.. 2022. 1. 7. 딥러닝 기본 용어 잡기(Introduction to Deep Learning) 딥러닝 : 인공신경망 기반의 학습 방식 - 수많은 뉴런이 서로 연결되어 신호를 서로 전달하는 것처럼 퍼셉트론이 연결되어 연산 결과를 주고 받음 퍼셉트론 : 신경망의 최소 단위 - 입력값(input), 가중치 벡터(w), 출력값(output) - 입력값 벡터와 가중치 벡터의 내적값이 활성화 함수(Activation Function)를 거쳐 최종 출력값을 반환 - 활성화 함수는 시그모이드(Sigmoid), 렐루(Relu), 리키 렐루(Leaky Relu) 등이 있음 - 편향(b, bias) : 가중합에 더해지는 상수 다층 퍼셉트론 : 퍼셉트론의 층 여러 개 - XOR 등 하나의 퍼셉트론으로는 해결할 수 없었던 문제를 해결할 수 있게 함 - 인공 신경망(Artificial neutral network), 줄여.. 2022. 1. 7. Start OpenCV and draw on the picture/video 1. Import Library import cv2 import matplotlib.pyplot as plt %matplotlib inline 2. Open the File # 색감이 이상하게 나옴 imgBGR = cv2.imread('./data/apples.jpg') plt.axis('off') plt.imshow(imgBGR) plt.show() # RGB로 변환해서 열어주어야 함 imgRGB = cv2.cvtColor(imgBGR, cv2.COLOR_BGR2RGB) plt.axis('off') plt.imshow(imgRGB) plt.show() # 그레이스케일 imgGray = cv2.imread('./data/apples.jpg', cv2.IMREAD_GRAYSCALE) plt.axis('of.. 2022. 1. 3. 이전 1 다음 반응형
