대형언어모델(LLM)의 이전 계산 결과를 다음 토큰 생성에 직접 연결하는 새로운 트랜스포머 아키텍처가 제안됐다.
프린스턴대학 연구진은 12일(현지시간) 토큰 처리 후 생성된 디코더의 최종 은닉 상태와 어텐션 캐시를 다음 단계로 전달하도록 설계한 '순환 루프 변환기(RLT·Recurrent Looped Transformer)' 아키텍처를…