본문 바로가기

인공지능22

[인공지능개론] Neural Networks② XOR 혹은 XNOR problem은 선형 모델로 즉, Single-Layer Perceptron(SLP)으로는  해결할 수 없다. 이를 해결하기 위해서 Multi-Layer Perceptron(MLP)를 도입해야 한다. SLP에서는 hidden layer가 없었다면, MLP에서는 hidden layers(latent layers)가 존재하며 hidden layer의 수가 neural network의 복잡도를 결정한다. 이를 deep neural network 라고도 한다.Multi-Layer Perceptron: Hidden Layer가 있는 모델Simple Example: XNOR, XOR ProblemXNOR Problem:$y=$($x_1$ AND $x_2$) OR ((NOT $x_1$) AND .. 2024. 5. 8.
[인공지능개론] Neural Networks① Neural Networks는 스스로 학습하는 인간의 뇌를 모방한 알고리즘이다. 시스템에는 입력과 출력이 존재한다. 인간의 뇌는 입력을 받아 이웃하는 뉴런으로부터의 가중치를 곱하여 합하는 weighted sum을 하여 전달하고 threshold와 비교하여 그보다 크면 1 아니면 0의 step function으로 전달하는 시스템과 닮아있다. Dendrites : input for signalsAxon : output (signal transmission)Synapse : determine weight of the signal from the axon (어느정도의 강도로 전달)Soma : decide on whether to transmit signals to other neurons (전달 여부 결정)기본.. 2024. 5. 7.
[인공지능개론] Regression④ 앞서 Linear Regression을 PyTorch로 구현했던 것처럼, Logistic Regression과 Softmax Regression도 PyTorch로 구현해보자. 이것도 직접 작성할 수도 있고 torch.nn 모듈을 활용하여 쉽게 구현할 수도 있다.Logistic Regression직접 작성한 코드를 먼저 확인해보자.import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimx_data = [[1,2], [2,3], [3,1], [4,3], [5,3], [6,2]] //input dimension = 2y_.. 2024. 5. 7.
[인공지능개론] Regression③ Logistic RegressionLinear Regression는 복잡한 문제를 푸는 데에 적합하지 않다. 특히, 일반적인 데이터의 경향에서 벗어난 Outlier가 있을 때에는 Linear Hypothesis로 나타내는 데에 한계가 있다. 이를 해결하기 위해 등장한 것이 Logistic Hypothesis이다. $$H(X) = \frac{1}{1+e^{-W^TX}}$$sigmoid function 혹은 logistic function으로 표현하면 나타나는 특징은 1. 미분가능하고 2. 0과 1 에 bound되며 3. 0과 1 사이에 존재하므로 이를 확률(pdf)로 볼 수 있다. 또한, 4. 구간적인 linear가 존재하여 가운데($W^TX$)에서의 gradient가 최대이고 양쪽 가장자리에서의 grad.. 2024. 5. 6.

티스토리툴바