Parameter Efficient Fine-Tuning (PEFT)란?

1. 기존의 학습 방법

GPT, Bert와 같은 Large Language Model(LLM)이 개발된 후 LLM에 언어를 학습시키고 우리가 적용하려는 task 데이터를 학습시키는 Transfer Learning이 활용되었다.

Transfer Learning 이전에는 단지 모델이 있으면 그 모델을 우리의 테스크에 맞는 데이터를 활용해 학습시켰다. 이 경우, A라는 task와 B라는 task가 비슷해도, A task를 학습한 모델을 B task를 학습시킬 때 활용할 수 없다. 다시 처음부터 B task를 학습해야한다. 반면, Transfer Learning의 경우 이전 task(Source Task)를 통해 학습시킨 모델을 그대로 활용하여 학습시킬 수 있다는 장점이 있다.

 

이러한 Transfer Learning을 위해 과거에는 이미 Pre-trained(사전 학습)된 모델을 downstream task(=실제로 풀고 싶은 문제)에 따라 파인튜닝을 진행했다. 하지만 점점 모델이 커지면서 모델 전체를 파인튜닝하는 것은 불가능했다. 파인튜닝이 가능하더라도, 이렇게 거대한 모델을 저장하고 사용하는 것은 용이 크다. Parameter Efficient Fine-Tuning(PEFT)은 이러한 문제를 해결하고자 등장한다.

2. PEFT란?

PEFT는 위와 같은 문제를 해결하기 위해 대부분의 파라미터를 프리징하고 일부만을 파인튜닝하여 저장공간과 계산능력을 대폭 줄인다. 그외에도 Catastrophic Forgetting 극복 (기존 Fine Tuning의 단점) 등의 장점이 있다.

• Catastrophic Forgetting: 인공 신경망이 새로운 정보를 학습할 때 이전에 학습한 정보를 갑자기 급격하게 잊어버리는 현상

 

초기에 PEFT를 위해서 adapter방식이 제안되었고 LoRA, Prompt Tuning, Prefix Tuning등 여러 방법들이 있다.

• adapter: [논문 리뷰] Parameter-Efficient Transfer Learning for NLP (Adapter)
• LoRA: [논문 리뷰] LoRA: Low-Rank Adaptation of Large Language Models
• Prompt Tuning: [논문 리뷰] Prefix-Tuning: Optimizing Continuous Prompts for Generation

---

출처

transfer-learning 사진: https://www.semanticscholar.org/paper/A-Survey-on-Transfer-Learning-Pan-Yang/a25fbcbbae1e8f79c4360d26aa11a3abf1a11972