Memorize Memorize

LLM은 다양한 응용 분야에서 인상적인 성능을 보여주고 있으나, 여전히 여러 형태의 불일치(inconsistency) 문제에 직면해 있다. 기존 연구들은 주로 단일 LLM 내의 일관성 문제에 집중해온 반면, 본 연구는 다수의 LLM 간 협업에서 발생하는 상호 일관성(inter-consistency) 문제를 보완적으로 탐구한다.LLM들이 공동의 목표를 위해 효과적으로 협력하고 합의를 이룰 수 있는지를 살펴보기 위해, 우리는 상식 추론(commonsense reasoning) 작업에 집중하며, 현실 시나리오에 정렬된 세 단계의 토론 구조를 갖는 공식적인 토론 프레임워크 FORD(Formal Debate Framework)를 제안한다. 세 단계는 다음과 같다: 공정한 토론(fair debate) 능력 불일치 ..

검색 증강 생성(RAG)은 대형 언어 모델(LLM)이 생성한 응답에서 발생하는 환각 문제를 해결할 수 있는 유망한 기술로 부상하고 있습니다. 기존의 RAG 연구는 주로 의미 기반 접근 방식을 사용하여 개별적으로 관련된 청크를 검색하는 데 집중했으며, 이 과정에서 청크 간의 내재적 관계를 무시하는 한계가 있었습니다. 본 논문에서는 청크 간 사실 수준의 관계를 제공하여 검색 결과의 다양성과 일관성을 향상시키는 지식 그래프(KG)를 활용한 새로운 검색 증강 생성 프레임워크인 **Knowledge Graph-Guided Retrieval Augmented Generation (KG2RAG)**을 제안합니다.구체적으로, KG2RAG는 의미 기반 검색을 수행하여 초기 청크(seed chunks)를 제공한 후, KG..

RAG은 LLM이 생성한 응답에서 발생하는 환각 문제를 해결할 수 있는 유망한 기술로 부상하고 있습니다. 기존의 RAG 연구는 주로 의미 기반 접근 방식을 사용하여 개별적으로 관련된 청크를 검색하는 데 집중했으며, 이 과정에서 청크 간의 내재적 관계를 무시하는 한계가 있었습니다. 본 논문에서는 청크 간 사실 수준의 관계를 제공하여 검색 결과의 다양성과 일관성을 향상시키는 지식 그래프(KG)를 활용한 새로운 검색 증강 생성 프레임워크인 Knowledge Graph-Guided Retrieval Augmented Generation (KG2RAG)을 제안합니다.구체적으로, KG2RAG는 의미 기반 검색을 수행하여 초기 청크(seed chunks)를 제공한 후, KG 기반 청크 확장 프로세스와 KG 기반 청크..

LM은 광범위한 세계 지식과 일부 추론 능력을 학습하지만, 훈련이 완전히 비지도 방식으로 이루어지기 때문에 이들의 행동을 정밀하게 제어하기는 어려움이러한 제어 가능성을 확보하기 위한 기존 방법은 모델 생성물의 상대적인 품질에 대한 인간 레이블을 수집하고, 이를 바탕으로 비지도 학습된 LM을 미세 조정하여 이러한 선호도에 맞추는 방식이 과정에서 종종 인간 피드백을 활용한 강화 학습(RLHF)을 사용그러나 RLHF는 복잡하고 종종 불안정한 절차로, 먼저 인간의 선호도를 반영하는 보상 모델을 학습하고, 이후 강화 학습을 통해 초기 모델과 크게 벗어나지 않으면서도 추정된 보상을 극대화하도록 비지도 LM을 미세 조정 이 논문에서는 RLHF에서 보상 모델의 새로운 매개변수화를 소개하여, 해당 최적 정책을 폐쇄형으로..

기존의 방법론, 즉 매칭 기반 또는 임베딩 기반 접근법은 미묘한 속성을 평가하거나 만족스러운 결과를 제공하는 데 종종 한계 LLM의 발전은 "LLM-as-a-judge" 패러다임을 이야기 하며, 이는 다양한 작업과 응용 분야에서 점수 매기기, 순위 지정, 선택 등을 수행하기 위해 LLM을 활용하는 접근법 먼저 입력 및 출력 관점에서 자세한 정의를 제시1) "무엇을 판단할 것인가"2) "어떻게 판단할 것인가"3) "어디에서 판단할 것인가"라는 세 가지 차원에서 LLM-as-a-judge를 탐구하기 위한 포괄적인 분류 체계를 소개머신러닝 및 NLP에서 평가와 검증은 오래전부터 필수적이면서도 도전적인 작업으로, 주어진 후보군의 다양한 속성(예: 품질, 관련성, 유용성)을 평가하고 비교하는 데 특히 중요한 역할..

LLM 출력의 스타일과 품질을 개선하는 데 있어 self-correction은 효과적이라는 점이 입증되었지만, 최근의 연구에서는 논리적 오류나 추론 오류를 수정하려는 시도가 오히려 올바른 답을 틀리게 만들어 전체적인 성능이 악화되는 경우가 많다고 보고  논문에서는 이러한 낮은 self-correction 성능이 LLM이 논리적 오류를 찾는 능력 부족에서 기인하며, 이미 알려진 오류를 수정하는 능력의 부족 때문이 아님을 보여줌 1) 여러 최신 LLM들을 대상으로 오류 탐지 능력을 벤치마킹한 결과, 객관적이고 명확한 사례에서도 LLM이 전반적으로 오류를 찾는 것에 있어서 어려움을 겪는것을 확인 2) 오류 탐지 과정과는 별도로, 모델에 오류 위치 정보를 제공하는 backtracking 방식을 활용해 LLM의 ..

대규모 언어 모델(LLMs)은 놀라운 역량을 보여주지만, 환각, 옛날 지식, 불투명한 추론 과정과 같은 문제를 가지고 있음RAG은 외부 데이터베이스에서 지식을 통합함으로써 이러한 문제를 해결하기 위한 유망한 솔루션지식 집약적 작업에서 생성의 정확성과 신뢰성을 향상시키며, 지속적인 지식 업데이트 및 도메인별 정보 통합을 가능RAG는 LLM의 내재적 지식과 외부 데이터베이스의 방대한 동적 저장소를 시너지 효과로 결합리뷰 논문은 RAG 패러다임의 발전 과정을 세세히 검토하며, Naive RAG, Advanced RAG, Modular RAG을 포함RAG 프레임워크의 삼중 기초인 검색(Retrieval), 생성(Generation), 증강(Augmentation) 기술을 면밀히 분석각 핵심 구성 요소에 내재된 ..

대규모 언어 모델(LLMs)은 다양한 태스크에서 인상적인 능력을 보여주지만, 어떤 모델을 사용할지 선택하는 과정에서는 성능과 비용 간의 트레이드오프가 발생 더 강력한 모델은 효과적이지만 비용이 높고, 반면에 성능이 낮은 모델은 더 비용 효율적입니다. 이 딜레마를 해결하기 위해, 추론 중에 더 강력한 모델과 더 약한 모델을 동적으로 선택하여 비용과 응답 품질 간의 균형을 최적화할 수 있는 여러 효율적인 라우터(router) 모델을 제안 이러한 라우터를 학습시키기 위해 인간 선호 데이터와 데이터 증강(data augmentation) 기술을 활용하는 학습 프레임워크를 개발 널리 알려진 벤치마크에 대한 평가 결과, 접근 방식은 응답 품질을 저하시키지 않으면서 비용을 일부 경우 2배 이상 줄일 수 있음을 확인더..