본문 바로가기

Ai15

[Graph Neural Network] Graph Representation GNN은 Graph Neural Network로, 이름처럼 graph를 이용한 신경망이다. 이를 이해하기 전에 먼저 graph에 대해 이해해보자.network를 이루는 구성 요소는 objects, interaction, system인데 우리가 다룰 graph에서는 각각 node, link, graph(network)로, 순서대로 $N$, $E$, $G(N,E)$라고 표현한다. graph의 장점은 specific cases를 general하게 표현할 수 있다는 것이다.graph에는 directed와 undirected가 있다. 이름에서 바로 알 수 있듯이, directed는 방향이 존재하는 것, undirected는 방향이 존재하지 않는 것이다. 어떤 node로부터 인접한 edges의 수를 node deg.. 2024. 8. 21.
[인공지능개론] Transformer② 이제 진짜 Transformer에 대해 알아보자. Transformer는 NLP 분야에서 많이 쓰이던 RNN 구조가 아닌 Attention 매커니즘을 사용하여 번역 부분에서 SOTA를 차지하였고 현재는 다양한 분야에서 우수한 성능을 보여주고 있다. Transformer model의 전체 구조는 아래와 같다. 여기서 주의할 점은 내부적으로는 Self Attention을 수행하지만 Encoder의 결과를 Decoder의 입력으로 전달할 때에는 Cross Attention을 한다는 점이다.sequence data의 패턴을 찾는 예제와 함께 Transformer  구조를 분석해보자. 이는  input sequence로 1,1,1,1이 들어온다면 1이 반복되는 패턴을 인식하여 1,1,1,1,1,1,1,1,1을 출.. 2024. 8. 20.
[인공지능개론] Transformer① Transformer에 대해 알아보자.Transformer가 나오게 된 배경은 무엇일까? 그 이전에는 seq2seq (sequence-to-sequence) 모델이 있었다. 이는 Encoder-Decoder 구조로 LSTM이 여러개 연결되어 구성된 Encoder를 context를 추출하고 이를 다시 LSTM으로 구성된 Decoder에 넣어 autoregressive하게 생성해내는 모델이다.이 모델은 하나의 고정된 크기의 context 벡터에 모든 정보를 압축하는 과정에서 정보의 손실이 발생한다는 문제와 vanishing gradient 문제가 존재했다. 이를 보완하기 위해 Attention으로 이루어진 Encoder-Decoder 구조의 Transformer 모델이 제안되었다.그렇다면 Attention은.. 2024. 8. 20.
[인공지능개론] Clustering 이때까지 대표적인 supervised learning에 대해 알아보았다. supervised learning은 labeled data로 학습하기 때문에 unsupervised learning에 비해 비교적 높은 정확도를 갖는다. 하지만 사람이 하나하나 labeling을 해야 한다. 반면 unsupervised learning은 labeled data가 필요없기 때문에 사람의 노력이 최소화된다는 장점이 있지만 그만큼 정확도도 낮다. 학습과 데이터에 따라 task를 분류해보자.supervised learning으로 해결하는 task는 classification(categorization), regression이 있지만 data가 continuous한지 discrete한지에 따라 분류된다. 하지만 discre.. 2024. 8. 20.

티스토리툴바