[Principles][2]Mathematical Notation for Artificial Neural Networks

딥러닝의 기초 중 하나인 네트워크를 행렬로 표기하는 방법과, activation 함수의 종류가 어떻게 결과에 영향을 미치는지를 알아보도록 하겠습니다. 노드와 엣지로 neural network(NN)를 표현하면 다음과 같은 그림이 나오는 것을 볼 수 있습니다. 복잡하게 보일수도 있는데 복잡성때문에 이를 간단하게 행렬로 나타낼 수 있어야합니다. 

Reference : Towards Data Science

 

NN을 수식으로 나타내면 매우 길어집니다. 대신, 행렬곱을 이용해 다음과 같이 나타낼 수 있습니다. 

함수 f 로 감싸는 이유는 weight를 통과하고 activation 함수에 들어가기 때문입니다. 이를 통해 multi layer perceptron(MLP)는 행렬곱, 벡터합, activation함수 통과의 반복임을 알 수 있습니다. 이전에 activation 통과한것에 weight를 곱하고 bias를 더하며, 다음 activation 함수를 통과시켜줍니다. 

이것을 깊게 만들면 복잡한 함수도 나타낼 수 있겠다는 예측을 해볼 수 있습니다. 그러나 한 가지 조건이 존재하는데, activation함수는 non-linear(비선형)하여야만 합니다. 추후에 나오는 unit-step, sigmoid 모두 non-linear 입니다. Activation 함수가 non-linear 해야하는 이유는 linear activation 함수는 들어온대로 나가기 때문입니다. f(x) = x 의 형태는 input 그대로 output이 생성됩니다.

 

Linear activation이 사용되었다고 하면, activation function을 무시하고 전개를 진행해도 무방합니다. 따라서, 중간에 있는 hidden layer가 무시되는 효과를 가집니다. 아래 필기에 수식적으로 설명되어 있습니다. 

더 자세한 내용은 패스트캠퍼스 혁펜하임 AI Deep Dive 를 참고해주세요 :-) 

 

혁펜하임 AI Deep Dive가 도움이 되는 이유는 AS가 확실하기 때문입니다. 궁금한게 있으면 매월 박사님 채널에서 들어오는 질문에 대한 답변을 주십니다. 채널에 강의 맛보기도 있고 Monthly Deep Dive도 있으니 Youtube '혁펜하임' 채널에서 확인해주시면 되겠습니다. 

혁펜하임 박사님이 이전까지 삼성전자 S.LSI 사업부에서 일하셨다고 LSI 푸쳐핸졉하라 하셔서 과거에 인턴으로 있다 나온 저는 마음속으로 조용히 손 들었습니다. 

 

 

 

1) 본 게시글은 패스트캠퍼스 [혁펜하임의 AI DEEP DIVE] 체험단 활동을 위해 작성되었습니다.
2) 강의 링크 : https://bit.ly/3GV73FN

혁펜하임의 AI DEEP DIVE (Online.) | 패스트캠퍼스