AI 모델/자연어 (5) 썸네일형 리스트형 Transformer 목차 1. 트랜스포머의 이해 2. 트랜스포머 구현 출처 딥러닝을 이용한 자연어 처리 입문 서울 ICT이노베이션 AI 심화 과정 1. 트랜스포머의 이해 1.1 구조 트랜스포머는 RNN을 사용하지 않지만 기존의 seq2seq처럼 인코더에서 입력 시퀸시를 입력받고, 디코더에서 출력 시퀸스를 출력하는 인코더-디코더 구조를 유지. seq2seq구조는 인코더와 디코더에서 각각 하나의 RNN이 t개의 시점(time step)을 가지는 구조였다면 트랜스포머는 인코더와 디코더라는 단위가 N개로 구성되는 구조. 아래 그림의 Encoders와 Decoders 는 각각 인코더와 디코더가 여러개 쌓여있다는 의미. 디코더는 기존의 seq2seq 구조처럼 시작 심볼 를 입력받아 종료 심볼 가 나올 때까지 연산을 진행. (RNN은 .. Bigbird Longformer RoBERTa BERT 이전 1 다음
