왕구아니다

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- FactGuard는 장문 문맥(Long-context) 환경에서 LLM이 답할 수 없는 질문에 대해 환각을 생성하는 문제를 해결하기 위해, answerable과 현실적인 unanswerable 질문을 자동으로 생성하는 협업적 다중 작업 프레임워크를 제안- 이를 통해 구축된 FactGuard-Bench(25,220개 예시)는 4K~128K 길이의 문맥에서 모델이 “답할 수 없음”을 추론 기반으로 설명하며 거부하는 능력을 평가하도록 설계되었으며, 실험 결과 기존 LLM들은 answerable과 unanswerable 사이에 큰 ..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- Ext2Gen은 extract-then-generate 구조에서 pairwise preference(DPO) 기반 alignment를 통해 noisy retrieval 환경에서도 관련 문장만 추출하도록 학습시켜, generation 단계에서 precision–recall 균형을 맞추며 강건성을 확보함- (i) 관련 청크 위치 변화와 최대 25개 irrelevant chunk를 추가한 controlled noisy setting- (ii) BEIR 기반 대규모 실제 RAG 환경에서 Top-K(10/20/30) 및 다양한 ret..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- INSTRUCTRAG는 검색된 문서에서 정답이 어떻게 도출되는지를 모델이 스스로 설명(rationale)하도록 만들고, 이 self-synthesized rationale을 ICL 또는 fine-tuning 데이터로 활용해 명시적(Explicit) denoising을 학습시키는 RAG 프레임워크- RAG의 성능 문제는 retrieval 자체보다 “노이즈를 어떻게 처리하느냐”에 있으며, 정답만 학습하는 implicit 방식보다 denoising 과정을 설명하게 하는 explicit 학습이 더 강건하고 일반화에 유리하다는 것을 ..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- NAVER LABS에서 발표한 논문- Provence는 context pruning을 token-level binary classification으로 정의하고, LLM이 만든 silver label을 이용해 학습한 lightweight cross-encoder 모델- Reranking과 pruning을 하나의 모델로 통합(unified)하여, 추가 연산 없이(pruning 거의 공짜) 높은 compression에서도 QA 성능을 유지하거나 오히려 향상- Compression ratio를 고정하는 대신 threshold 기반 ..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- RAG에서 검색기로 문서를 검색했을 때 발생하는 노이즈 상황을 3가지로 분류- 3가지 노이즈 상황을 adversarial sample로 사용해 Adaptive Adversarial Training 수행- 단순히 노이즈 상황에 강겅한 LLM 튜닝이 아닌 노이즈 분류 loss도 추가함으로써 input으로 들어오는 문서들의 노이즈 유형까지 분류하게 학습 진행Link- 논문 : https://arxiv.org/abs/2405.20978- 코드 : https://github.com/calubkk/RAAT GitHub - calubkk..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- Reasoning LLM의 reasoing phase 부분에 passages 주입하자Link- 논문 : https://arxiv.org/abs/2507.19333- 코드 : https://github.com/Trustworthy-Information-Access/Passage-Injection GitHub - Trustworthy-Information-Access/Passage-Injection: Official code for the paper Injecting External Knowledge into the ReaOff..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- 2가지의 서로 다른 Task Skill를 결합해 새로운 Task를 해결할 수 있는지 실험한 논문- Task Skill를 결합하는 방법에는 Data-Mix, LoRA concat, LoRA linear merge 등등- 추가적으로 LoRA concat 방법론에서 각각의 LoRA를 병합할 때 사용하는 계수(가중치)를 학습 파라미터로 두는 Learnable Concat 방법 제안- 결론적으로 LoRA를 Concat하는 방법이 성능이 가장 좋았고, 이를 해석해보면 다른 방법들에 비해 서로 다른 Task Skill를 응용하는 능력까지..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~ ‼️ 본 논문은 "Parametric Retrieval-Augmented Generation"이라는 논문을 변형한 논문이므로 해당 논문을 먼저 읽고 아래 포스팅된 내용들을 읽어보시는 것을 추천드립니다~ (중간중간 본 논문에 작성된 자세한 P-RAG 내용은 생략하겠습니다)https://wanggyuuu.tistory.com/13 [논문 리뷰] Parametric Retrieval Augmented Generation본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 ..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- 기존 PRAG의 문제점인 (1)각 문서마다 LoRA를 학습시키는 과정(one-to-one)과 (2) 추론 시 검색된 문서에 대응되는 LoRA 파라미터를 loading/unloading 반복하는 과정을 개선하고자 Poly-PRAG 제안- LLM에 주입할 LoRA 파라미터를 Latent Routing을 통해 특정 개수의 Expert(LoRA) 조합으로 전체 문서를 표현할 수 있게 학습 진행 (many-to-few)- 그 결과 Offline 과정에서의 저장 공간 효율화 및 Inference time 절약 달성Link- 논문 : h..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- 기존 P-RAG 실험 설계의 문제점을 이야기하고 다시 실험 진행 (평가 Metrics와 프롬프트 수정)- 위 실험을 바탕으로 두 가지 가설을 세우고 구체적으로 가설을 뒷받침하는 실험 진행 - 1) 파라미터 표현이 문서의 사실 정보를 완전히 담지 못할 수 있다 - 2) 파라미터 주입이 주어진 문맥에 대한 모델의 이해를 향상시킬 수 있다Link- 논문 : https://arxiv.org/abs/2510.12668 The Role of Parametric Injection-A Systematic Study of Parame..