본문 바로가기

인공지능22

[강화학습] Markov Decision Process 강화학습의 기초가 되는 Markov Decision Process을 알아보자.먼저, action을 하는 agent와 그를 둘러싼 모든 환경 environment를 중심으로 학습이 이루어진다. 이렇게 말하면 잘 와닿지 않으니 그림과 함께 알아보자. discrete time step t에 대해 현재 state $S_t$를 agent가 받으면 그에 대해 특정 action $A_t$를 하여 나타나는 다음 state $S_{t+1}$를 바탕으로 reward $R_{t+1}$를 제공한다. agent는 reward을 많이 받는 action을 하도록 학습되기 때문에 return은 현재 시점부터 그 이후의 미래까지 누적된 reward이 되고, 우리의 학습 목표는 이 return의 기댓값을 최대로 만드는 것이다.  이때,.. 2025. 4. 3.
[Graph Neural Network] Traditional Feature-based Method 머신러닝 모델에서 graph를 사용하기 위해서는 feature를 얻고 이를 기반으로 예측을 해야한다. graph는 node -level , link -level , graph-level 에서의 feature을 디자인할 수 있다. 쉽게 이해하기 위해 undirected graphs를 기준으로 node, link, graph를 알아보자.Node-levelnode-level의 task는 보통 node classification이다. 즉, node의 구조와 위치에 대한 feature을 얻는 것이 목표인 것이다. 이를 위해 우리가 알아야 할 개념은 node degree, node contrality, clustering coefficient, graphlet이다.node degree ($k_v$)는 어떤 node.. 2024. 8. 22.
[Graph Neural Network] Graph Representation GNN은 Graph Neural Network로, 이름처럼 graph를 이용한 신경망이다. 이를 이해하기 전에 먼저 graph에 대해 이해해보자.network를 이루는 구성 요소는 objects, interaction, system인데 우리가 다룰 graph에서는 각각 node, link, graph(network)로, 순서대로 $N$, $E$, $G(N,E)$라고 표현한다. graph의 장점은 specific cases를 general하게 표현할 수 있다는 것이다.graph에는 directed와 undirected가 있다. 이름에서 바로 알 수 있듯이, directed는 방향이 존재하는 것, undirected는 방향이 존재하지 않는 것이다. 어떤 node로부터 인접한 edges의 수를 node deg.. 2024. 8. 21.
[인공지능개론] Transformer② 이제 진짜 Transformer에 대해 알아보자. Transformer는 NLP 분야에서 많이 쓰이던 RNN 구조가 아닌 Attention 매커니즘을 사용하여 번역 부분에서 SOTA를 차지하였고 현재는 다양한 분야에서 우수한 성능을 보여주고 있다. Transformer model의 전체 구조는 아래와 같다. 여기서 주의할 점은 내부적으로는 Self Attention을 수행하지만 Encoder의 결과를 Decoder의 입력으로 전달할 때에는 Cross Attention을 한다는 점이다.sequence data의 패턴을 찾는 예제와 함께 Transformer  구조를 분석해보자. 이는  input sequence로 1,1,1,1이 들어온다면 1이 반복되는 패턴을 인식하여 1,1,1,1,1,1,1,1,1을 출.. 2024. 8. 20.

티스토리툴바