왕구아니다

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- FactGuard는 장문 문맥(Long-context) 환경에서 LLM이 답할 수 없는 질문에 대해 환각을 생성하는 문제를 해결하기 위해, answerable과 현실적인 unanswerable 질문을 자동으로 생성하는 협업적 다중 작업 프레임워크를 제안- 이를 통해 구축된 FactGuard-Bench(25,220개 예시)는 4K~128K 길이의 문맥에서 모델이 “답할 수 없음”을 추론 기반으로 설명하며 거부하는 능력을 평가하도록 설계되었으며, 실험 결과 기존 LLM들은 answerable과 unanswerable 사이에 큰 ..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- Ext2Gen은 extract-then-generate 구조에서 pairwise preference(DPO) 기반 alignment를 통해 noisy retrieval 환경에서도 관련 문장만 추출하도록 학습시켜, generation 단계에서 precision–recall 균형을 맞추며 강건성을 확보함- (i) 관련 청크 위치 변화와 최대 25개 irrelevant chunk를 추가한 controlled noisy setting- (ii) BEIR 기반 대규모 실제 RAG 환경에서 Top-K(10/20/30) 및 다양한 ret..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- NAVER LABS에서 발표한 논문- Provence는 context pruning을 token-level binary classification으로 정의하고, LLM이 만든 silver label을 이용해 학습한 lightweight cross-encoder 모델- Reranking과 pruning을 하나의 모델로 통합(unified)하여, 추가 연산 없이(pruning 거의 공짜) 높은 compression에서도 QA 성능을 유지하거나 오히려 향상- Compression ratio를 고정하는 대신 threshold 기반 ..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- RAG에서 검색기로 문서를 검색했을 때 발생하는 노이즈 상황을 3가지로 분류- 3가지 노이즈 상황을 adversarial sample로 사용해 Adaptive Adversarial Training 수행- 단순히 노이즈 상황에 강겅한 LLM 튜닝이 아닌 노이즈 분류 loss도 추가함으로써 input으로 들어오는 문서들의 노이즈 유형까지 분류하게 학습 진행Link- 논문 : https://arxiv.org/abs/2405.20978- 코드 : https://github.com/calubkk/RAAT GitHub - calubkk..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- Reasoning LLM의 reasoing phase 부분에 passages 주입하자Link- 논문 : https://arxiv.org/abs/2507.19333- 코드 : https://github.com/Trustworthy-Information-Access/Passage-Injection GitHub - Trustworthy-Information-Access/Passage-Injection: Official code for the paper Injecting External Knowledge into the ReaOff..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- 2가지의 서로 다른 Task Skill를 결합해 새로운 Task를 해결할 수 있는지 실험한 논문- Task Skill를 결합하는 방법에는 Data-Mix, LoRA concat, LoRA linear merge 등등- 추가적으로 LoRA concat 방법론에서 각각의 LoRA를 병합할 때 사용하는 계수(가중치)를 학습 파라미터로 두는 Learnable Concat 방법 제안- 결론적으로 LoRA를 Concat하는 방법이 성능이 가장 좋았고, 이를 해석해보면 다른 방법들에 비해 서로 다른 Task Skill를 응용하는 능력까지..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- task vector에 대한 산술 연산을 이용해 모델을 편집(editing)하는 새로운 패러다임을 제안- 다양한 비전 모델과 NLP 모델에서 실험한 결과, 여러 개의 태스크에 특화된 task vector를 더하면, 모든 목표 태스크를 잘 수행하는 단일 모델을 만들 수 있었고, 경우에 따라서는 단일 태스크 성능조차 오히려 향상됨- 또한 task vector를 반대로 더하는 것을 통해, 예를 들어 유해한 발화 같은 원치 않는 행동을 제거하거나, 특정 태스크 자체를 의도적으로 잊게 만들 수 있으며, 그 과정에서도 다른 영역의 성능..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~ ‼️ 본 논문은 "Parametric Retrieval-Augmented Generation"이라는 논문을 변형한 논문이므로 해당 논문을 먼저 읽고 아래 포스팅된 내용들을 읽어보시는 것을 추천드립니다~ (중간중간 본 논문에 작성된 자세한 P-RAG 내용은 생략하겠습니다)https://wanggyuuu.tistory.com/13 [논문 리뷰] Parametric Retrieval Augmented Generation본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 ..

💬 논문 읽으며 스스로 부족한 부분을 정리한 포스팅입니다!딥러닝, 특히 언어모델을 공부하다 보면 거의 항상 마주치는 수식이 있다. 바로 “다음 토큰 확률을 최대화하는 목적함수”다. 논문에서 자주 등장하는 두 가지 형태의 식은 다음과 같다.1) 일반적인 언어모델 학습 식https://wanggyuuu.tistory.com/7 [논문 리뷰] LoRA: Low-Rank Adaptation of Large Language Models본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- 이 논문은wanggyuuu.tistory.com2) Fine-tuning / Adapter 학습 식..

본 논문 리뷰는 저의 개인적인 해석과 의견을 바탕으로 작성된 글입니다.내용 중 해석의 오류나 개념적인 착오가 있다면, 망설이지 마시고 댓글로 혼내주시면 감사하겠습니다~Preview- 기존 PRAG의 문제점인 (1)각 문서마다 LoRA를 학습시키는 과정(one-to-one)과 (2) 추론 시 검색된 문서에 대응되는 LoRA 파라미터를 loading/unloading 반복하는 과정을 개선하고자 Poly-PRAG 제안- LLM에 주입할 LoRA 파라미터를 Latent Routing을 통해 특정 개수의 Expert(LoRA) 조합으로 전체 문서를 표현할 수 있게 학습 진행 (many-to-few)- 그 결과 Offline 과정에서의 저장 공간 효율화 및 Inference time 절약 달성Link- 논문 : h..