목록Retriever (3)

왕구아니다

[논문 리뷰] Provence : efficient and robust context pruning for retrieval-augmented generation

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- NAVER LABS에서 발표한 논문- Provence는 context pruning을 token-level binary classification으로 정의하고, LLM이 만든 silver label을 이용해 학습한 lightweight cross-encoder 모델- Reranking과 pruning을 하나의 모델로 통합(unified)하여, 추가 연산 없이(pruning 거의 공짜) 높은 compression에서도 QA 성능을 유지하거나 오히려 향상- Compression ratio를 고정하는 대신 threshold 기반 ..
Paper Review/RAG 2026. 2. 15. 01:42
[논문 리뷰] Parametric Retrieval Augmented Generation

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- 문서를 입력으로 넣지 말고, 모델의 파라미터로 바꾸자- 문서를 LoRA 형태의 파라미터로 변환 후, 모델의 FFN에 삽입 - 추론 시에는 문서를 넣지 않고, 파라미터만 로드- Parametric RAG는 문서를 파라미터로 바꾸는 offline 과정과 실제 inference에 해당하는 online 과정으로 나뉨Link- 논문 : https://arxiv.org/abs/2501.15915- 코드 : https://github.com/oneal2000/PRAG GitHub - oneal2000/PRAG: Code for Param..
Paper Review/RAG 2025. 12. 26. 19:50
[논문 리뷰] DeepRetrieval : Hacking Real Search Engines and Retrievers with Large Language Models via Reinforcement Learning

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- 강화학습(RL)을 활용해 LLM이 직접 ‘시도-오류’ 방식으로 쿼리 생성 방법을 학습하는 DeepRetrieval- 학습 데이터를 사용하는 대신, 검색 성능 지표(NDCG 등)를 보상으로 사용하여 모델이 직접 시행착오를 통해 학습- 특징:1) No Supervision for Query Generation 2) RL with Trial & Error3) RL with Robust Reward Function Link논문 : https://arxiv.org/abs/2503.00223코드 : https://github.com/p..
Paper Review/RAG 2025. 6. 15. 00:08
이전 Prev 1 Next 다음