작성일 : 24/08

https://llmlingua.com/llmlingua.html

• LLMLingua가 라이브러리로 구현되어 있어 쉽게 import 가능 (pip로 다운로드 가능)

0. 문제상황 및 방향성

최근 LLM에 긴 prompt를 넣는 방향으로 사용되고 있음 (RAG, CoT 등)

그러나 긴 prompt의 경우 inference 속도를 늦출 뿐 아니라, 비용 역시 많아지게됨.

이를 해결하는 방향으로 Prompt Compression이 제시됨.

1. LLMLingua

https://arxiv.org/abs/2310.05736

LLMLingua demo : https://huggingface.co/spaces/microsoft/LLMLingua?source=post_page-----e421bc4a2d73--------------------------------

1. Budget Controller

   • compression ratio 결정
   • prompt를 여러 종류로 나누고, 각 종류별로 다른 compression ratio를 결정
     • instruction, question 은 적은 compression ratio
     • demonstration은 높은 compression ratio
   • sentence 기준으로 dropout

2. Iterative Token level compression

   • prompt를 segment 단위로 나누고, 그 안에서 perplexity를 계산하며 (small LM 사용) token 압축