NLP2 [Paper Review] Faithful Logical Reasoning via Symbolic Chain-of-Thought 본 글은 https://arxiv.org/abs/2405.18357 내용을 기반으로 합니다. ACL 2024에 accept된 논문입니다.혹시 잘못된 부분이나 수정할 부분이 있다면 댓글로 알려주시면 감사하겠습니다.Abstract최근 CoT 기법은 LLMs의 이론적 사고 능력을 강화했으나, 여전히 symbolic 표현과 엄격한 추론 규칙에 크게 의존하는 논리적 추론을 처리하는 데 한계를 가질 수 있다. 이에 따라, LLM의 논리적 추론 능력을 강화하기 위해, symbolic 표현과 논리 규칙을 CoT prompting과 통합한 새로운 Symbolic Chain-of-Thought인 SymbCoT라는 LLM 기반 프레임워크를 제안한다. SymbCOT는 다음 과정을 통해 문제를 해결한다. 1) 자연어 맥락을 이.. 2024. 12. 18. [Paper Review] GPT-2, GPT-3 본 글은 GPT-2, GPT-3 paper 내용을 기반으로 합니다. 혹시 잘못된 부분이나 수정할 부분이 있다면 댓글로 알려주시면 감사하겠습니다. OpenAI GPT paper review는 이전 글을 참고해주시길 바랍니다. https://byeonggeuk.tistory.com/16 Language Models are Unsupervised Multitask Learners (GPT-2) 1. Introduction 1. 기계학습 시스템은 큰 dataset, 고용량 모델, supervised learning 등을 통해 발전 - 이러한 방법들은 데이터 분포에 민감하고 특정 task에만 좋음 2. 현재 가장 성능이 좋은 시스템은 pre-training과 supervised fine-tuning의 조합 - 이.. 2024. 3. 26. 이전 1 다음
