왕구아니다

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- FactGuard는 장문 문맥(Long-context) 환경에서 LLM이 답할 수 없는 질문에 대해 환각을 생성하는 문제를 해결하기 위해, answerable과 현실적인 unanswerable 질문을 자동으로 생성하는 협업적 다중 작업 프레임워크를 제안- 이를 통해 구축된 FactGuard-Bench(25,220개 예시)는 4K~128K 길이의 문맥에서 모델이 “답할 수 없음”을 추론 기반으로 설명하며 거부하는 능력을 평가하도록 설계되었으며, 실험 결과 기존 LLM들은 answerable과 unanswerable 사이에 큰 ..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- Ext2Gen은 extract-then-generate 구조에서 pairwise preference(DPO) 기반 alignment를 통해 noisy retrieval 환경에서도 관련 문장만 추출하도록 학습시켜, generation 단계에서 precision–recall 균형을 맞추며 강건성을 확보함- (i) 관련 청크 위치 변화와 최대 25개 irrelevant chunk를 추가한 controlled noisy setting- (ii) BEIR 기반 대규모 실제 RAG 환경에서 Top-K(10/20/30) 및 다양한 ret..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- INSTRUCTRAG는 검색된 문서에서 정답이 어떻게 도출되는지를 모델이 스스로 설명(rationale)하도록 만들고, 이 self-synthesized rationale을 ICL 또는 fine-tuning 데이터로 활용해 명시적(Explicit) denoising을 학습시키는 RAG 프레임워크- RAG의 성능 문제는 retrieval 자체보다 “노이즈를 어떻게 처리하느냐”에 있으며, 정답만 학습하는 implicit 방식보다 denoising 과정을 설명하게 하는 explicit 학습이 더 강건하고 일반화에 유리하다는 것을 ..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- NAVER LABS에서 발표한 논문- Provence는 context pruning을 token-level binary classification으로 정의하고, LLM이 만든 silver label을 이용해 학습한 lightweight cross-encoder 모델- Reranking과 pruning을 하나의 모델로 통합(unified)하여, 추가 연산 없이(pruning 거의 공짜) 높은 compression에서도 QA 성능을 유지하거나 오히려 향상- Compression ratio를 고정하는 대신 threshold 기반 ..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- RAG에서 검색기로 문서를 검색했을 때 발생하는 노이즈 상황을 3가지로 분류- 3가지 노이즈 상황을 adversarial sample로 사용해 Adaptive Adversarial Training 수행- 단순히 노이즈 상황에 강겅한 LLM 튜닝이 아닌 노이즈 분류 loss도 추가함으로써 input으로 들어오는 문서들의 노이즈 유형까지 분류하게 학습 진행Link- 논문 : https://arxiv.org/abs/2405.20978- 코드 : https://github.com/calubkk/RAAT GitHub - calubkk..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- Reasoning LLM의 reasoing phase 부분에 passages 주입하자Link- 논문 : https://arxiv.org/abs/2507.19333- 코드 : https://github.com/Trustworthy-Information-Access/Passage-Injection GitHub - Trustworthy-Information-Access/Passage-Injection: Official code for the paper Injecting External Knowledge into the ReaOff..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- 2가지의 서로 다른 Task Skill를 결합해 새로운 Task를 해결할 수 있는지 실험한 논문- Task Skill를 결합하는 방법에는 Data-Mix, LoRA concat, LoRA linear merge 등등- 추가적으로 LoRA concat 방법론에서 각각의 LoRA를 병합할 때 사용하는 계수(가중치)를 학습 파라미터로 두는 Learnable Concat 방법 제안- 결론적으로 LoRA를 Concat하는 방법이 성능이 가장 좋았고, 이를 해석해보면 다른 방법들에 비해 서로 다른 Task Skill를 응용하는 능력까지..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- task vector에 대한 산술 연산을 이용해 모델을 편집(editing)하는 새로운 패러다임을 제안- 다양한 비전 모델과 NLP 모델에서 실험한 결과, 여러 개의 태스크에 특화된 task vector를 더하면, 모든 목표 태스크를 잘 수행하는 단일 모델을 만들 수 있었고, 경우에 따라서는 단일 태스크 성능조차 오히려 향상됨- 또한 task vector를 반대로 더하는 것을 통해, 예를 들어 유해한 발화 같은 원치 않는 행동을 제거하거나, 특정 태스크 자체를 의도적으로 잊게 만들 수 있으며, 그 과정에서도 다른 영역의 성능..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~ ‼️ 본 논문은 "Parametric Retrieval-Augmented Generation"이라는 논문을 변형한 논문이므로 해당 논문을 먼저 읽고 아래 포스팅된 내용들을 읽어보시는 것을 추천드립니다~ (중간중간 본 논문에 작성된 자세한 P-RAG 내용은 생략하겠습니다)https://wanggyuuu.tistory.com/13 [논문 리뷰] Parametric Retrieval Augmented Generation본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 ..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- SELF-RAG는 기존 RAG에 자기 평가(self-critique) 기능을 더해, 모델이 스스로 “지금 검색이 필요한지” 판단하고, “검색 결과가 답변에 실제로 도움이 되었는지”까지 평가하는 새로운 프레임워크- SELF-RAG는 LLM이 답변을 생성하는 중간에 특정 '평가 토큰(Reflection Tokens)'을 예측하도록 학습시킴- 학습 방법 : GPT-4로 token 생성 → Critic 모델 학습 → Critic 모델로 Generator 모델 학습 데이터 구성 → Generator 모델 학습- 추론 과정 (Infer..