딥 러닝
dropout = 일부 노드를 제거하고 사용하는 것
왜 dropout을 사용하는가? = 과대적합(과적합, 오버피팅)을 방지하기 위해 일부 노드를 제거하고 사용하는 것
optimizer = 오차가 최소가 되는 지점을 찾기 위한 optimizer, 기울기, 방향, learning rate를 고려
loss = 손실을 측정
metrics = 평가지표
import numpy as np
smax = tf.nn.softmax(predictions).numpy()
np.sum(smax)
tf.nn.softmax 함수는 다음과 같이 이러한 로짓을 각 클래스에 대한 확률로 변환
losses.SparseCategoricalCrossentropy를 사용하여 로짓의 벡터와 True 인덱스를 사용하고 각 예시에 대해 스칼라 손실을 반환하는 훈련용 손실 함수를 정의
이 훈련되지 않은 모델은 무작위에 가까운 확률(각 클래스에 대해 1/10)을 제공하므로 초기 손실은 -tf.math.log(1/10) ~= 2.3에 근접해야 함
Model.evaluate 메서드는 일반적으로 "Validation-set" 또는 "Test-set"에서 모델 성능을 확인
Tensorflow cheatsheet
층 구성 tf.keras.sequential()
tf.keras.input() = 입력층
tf.keras.layers.Dense() = 은닉층
tf.keras.layers.Dense() = 출력층
활성화 함수 (Activation)
linear = 디폴트 값
relu = 은닉층에 주로 사용
sigmoid = 이진 분류 문제
softmax = 다중 클래스 분류 문제
컴파일 model.compile()
model.compile(optimizer, loss, metrics)
- optimizer = SGD, RMSprop, Adam
- loss = 회귀 (MSE), 분류 (binary_crossentropy, categorical_crossentropy, sparse_categorical_crossentropy)
- metrics = 분류 (accuracy, AUC), 회귀 (MAE, MSE)
요약 model.summary()
model.summary()
- Layer
- Output Shape
- Param
학습 model.fit()
model.fit(X_train, y_train, epochs)
tf.keras.callbacks.history()
- acc = 훈련 정확도
- val_acc = 검증 정확도
- loss = 훈련 손실값
- val_loss = 검증 손실값
예측 model.predict()
model.predict(x_test)
평가 model.evaluate()
model.evaluate(X_test, y_test)