미분

오늘 배운것들

scipy를 활용한 미분

from scipy.misc import derivative
def f(x):
    return x**3 + x**2
derivative(f, 1.0, dx=1e-6)

📎docs.scipy

sigmoid 함수

📎Sigmoid 함수 미분 정리: 수학적 정리
📎Derivative of Sigmoid - 시그모이드 미분 함수: numpy 구현

경사하강법 용어

iteration: 계산, 컴퓨터 절차의 반복
전체 데이터를 모델에 한 번 학습시키는데 필요한 배치의 수
각 배치마다 파라미터 업데이트가 이뤄지므로, 배치의 수 = 파라미터 업데이트 횟수

epoch: 모든 데이터들이 모델을 통과한 횟수
1 epoch는 전체 학습 데이터셋이 한 신경망을 한 번 통과했다는 의미
지나치게 epoch를 높일 경우, 과적합 위험

📎경사하강법 정리 자료

모델 돌릴 때 결과 값이 달라질 때

-> seed로 시작점 결정
random.randn() 설정 시 시작을 무작위로 함
데이터 분석할 때에도 무작위로 데이터를 추출하기 때문에 seed를 지정해주어야 함

🤷‍♀️모르는 것들

scipy derivative를 사용한 편미분

❓scipy.misc.derivative for multiple argument function - 스택오버플로우

def f(p1, p2):
  return (np.exp(1)*p1 - p2)**2 + 50*p2

변수가 2개인 함수 선언하고,

이걸로 derivative(f,?,dx=1e-5) 구할려는데 변수가 2개라 ?에 뭐가 들어갈지 모르겠다.