Memorize Memorize

아 논문 너무 마너...쉽지 않아 1일 1논문 하려는거..Chain-of-Knowledge(CoK)이라는 새로운 프레임워크를 소개이 프레임워크는 이질적인 소스들로부터 grounding information를 동적으로 통합하여 대형 언어 모델(LLM)을 보강이는 사실적인 논리를 제공하고 생성 시 발생하는 환각을 줄이는 결과를 가져옴 구체적으로, CoK는 세 가지 단계로 구성1) 추론 준비2) 동적 지식 적응3) 답변 통합 지식이 요구되는 질문이 주어지면, CoK는 먼저 여러 예비 논리와 답변을 준비하며 관련 지식 도메인을 식별 추론 준비 (Reasoning Preparation):먼저 CoK는 주어진 질문에 대해 몇 가지 예비 논리(즉, 이유 또는 단계별 추론)를 생성하고, 관련 지식 도메인을 식별이는 질..

아아아아아 논문주제!!!!!!!!!! 너무 힘들어언어 모델이 스스로 생성한 응답을 검토하여 실수를 교정하는 능력을 연구Chain-of-Verification (COVE) 방법을 개발(i) 초기 응답을 작성한 후(ii) 초안을 사실 확인하기 위해 검증 질문을 계획하고(iii) 다른 응답에 의해 편향되지 않도록 독립적으로 그 질문에 답한 다음(iv) 최종 검증된 응답을 생성하는 과정 실험에서 COVE가 위키데이터의 목록 기반 질문, 폐쇄형 MultiSpanQA, 장문 텍스트 생성 등 다양한 작업에서 hallucination을 감소시킨다는 것을 보여줌LLMs은 수십억 개의 토큰을 포함한 방대한 텍스트 문서로 학습모델의 파라미터 수가 증가함에 따라 closed book QA와 같은 작업에서 정확도가 향상되고, ..

논문 주제 정하는거 때문에 정신이 나갈거 같음...ㅠRetrieval-augmented language models은 외부 지식 소스를 활용함으로써 사실적 환각을 줄이는 데 있어 대규모 언어 모델의 성능을 크게 향상시킨 모델그러나 검색된 정보의 신뢰성은 항상 보장되지 않으며, 무관한 데이터의 검색은 잘못된 응답을 유도할 수 있고, 심지어 모델이 적절한 정보를 가지고 있음에도 불구하고 이를 간과하게 만들 수 있음RALM은 내재적 지식과 검색된 지식이 충분한지 여부를 평가하는 데 어려움을 겪어, 정확한 답변을 제공하지 못할 때가 많음지식이 부족한 상황에서는 이러한 시스템이 이상적으로는 "알 수 없음"이라고 답해야 함이러한 문제에 대응하여, RALM이 노이즈가 많은 무관한 문서와 미지의 상황을 처리하는 능력을..

LLM의 발전은 NLU 및 NLG에서 상당한 능력을 보여주고 있음LLM의 수가 증가함에 따라, 여러 LLM의 집합적인 전문 지식을 활용하는 방법은 흥미로운 연구 방향으로 떠오르고 있음이를 위해, Mixture-of-Agents(MoA) 방법론을 통해 여러 LLM의 집합적인 강점을 활용하는 새로운 접근 방식을 제안접근 방식에서는 각 계층이 여러 LLM 에이전트로 구성된 층상 MoA 아키텍처를 구축각 에이전트는 응답을 생성할 때 이전 계층의 에이전트로부터 나온 모든 출력을 보조 정보로 사용MoA 모델은 AlpacaEval 2.0, MT-Bench, FLASK에서 최첨단 성능을 달성했으며, GPT-4 Omni를 능가예를 들어, 오픈 소스 LLM만을 사용한 우리의 MoA는 AlpacaEval 2.0에서 65.1..

INTRODUCTIONLLM의 발전은 수만 개의 토큰으로 이루어진 긴 텍스트를 처리할 수 있게 하였으며, 이는 수많은 전통적인 NLP작업에 적용하기에 충분 많은 LLM은 Instruction-Based Prompts를 사용하여 zero-shot/few-shot inference을 수행하도록 훈련/미세 조정LLM을 위한 프롬프트를 작성하려면 일반적으로 사용자가 세부적인 작업 설명, 맥락과 완성 예, 추론을 위한 단일 맥락 예를 제공해야 함이 규칙적인 프롬프트 기준은 이 논문에서 "SinglePrompt"라고 함 각 추론 데이터 포인트가 반드시 길지 않은 NLP 작업의 경우, 프롬프트에서 명령과 소수샷 예의 토큰 수가 데이터 포인트보다 훨씬 더 많아질 수 있으며, 이는 미세 조정된 BERT와 같은 인코더 기..

LLM은 놀라운 능력을 가지고 있지만, 이들이 내놓는 응답에는 종종 사실과 다른 부정확한 정보가 포함되고 있음이는 모델이 자체적으로 보유한 지식(파라메트릭 지식)에만 의존하기 때문 RAG는 관련 지식을 검색하여 모델을 보완하는 임시 방편으로, 이러한 문제를 줄이는 데 기여하고 있음그러나 검색이 필요하지 않거나 검색된 문서가 적절하지 않은 경우에도 고정된 수의 문서를 무작위로 검색하여 포함시키는 것은 모델의 다재다능성을 저하시킬 수 있으며, 비효율적인 응답 생성으로 이어질 수 있음 모델의 품질과 사실성을 향상시키기 위해 검색과 Self-Reflective을 활용하는 새로운 프레임워크인 SELF-RAG을 제안 이 프레임워크는 단일 임의의 LLM을 훈련시켜 필요할 때 적응적으로 문서를 검색하고, 검색된 문서와..

AbstractLLM은 파라미터에 Factual Knowledge을 저장하고 있으며, downstream NLP tasks에 맞춰 Fine-tuning될 때 SOTA를 달성 입증그러나 이 모델들이 지식에 접근하고 이를 정확하게 조작하는 능력은 여전히 제한적이어서 knowledge-intensive tasks에서는 특정 작업에 최적화된 아키텍처들에 비해 성능이 떨어짐모델들이 내리는 결정에 대한 근거를 제공하고, 세상에 대한 지식을 업데이트하는 것은 여전히 해결되지 않은 연구 문제결정을 쉽게 이해하거나 해석하기 어렵다는 문제를 지적RAG도 이러한 문제를 완전히 해결하지는 못하지만, 비파라메트릭 메모리(예: Wikipedia에서 검색된 문서)를 활용하여 더 신뢰할 수 있는 답변을 생성하는 데 기여할 수 있음그..

테이블에 관하여 COT를 적용한 논문이 있어 정리하고자 작성~~표 데이터를 위한 LLM은 Table QA 작업을 해결하는 유망한 방향자유 형식의 질문과 반구조화된 표 데이터에서 기본적인 의미를 추출하는 것을 요구 Chain-of-Thought 접근법은 텍스트 컨텍스트의 형태로 추론 체인을 통합하지만, 표 데이터를 Chain을 통해 효과적으로 활용하는 방법은 아직 명확하지 않았음 Chain of Thought와 비슷한 방법론을 표를 중간 단계에 사용하는 Chain-of-Table 프레임워크를 제안구체적으로, LLM을 사용하여 In-Context Learning을 통해 반복적으로 연산을 생성하고 표를 업데이트하여 표 기반 추론 체인을 의미LLM은 이전 연산의 결과를 기반으로 다음 연산을 동적으로 계획할 수 ..