[논문_리뷰]Super-NaturalInstructions

• 논문 소개
• 개요
• 방법론 상세
• Results
• 주요 데이터 소개
• 데이터에 가장 많이 포함된 범주
• 사용 언어
• 참고

이 아티클의 전반부는 Super-NaturalInstructions(SuperNI) 논문을 개괄적으로 살펴본 후 후반부에서는 SuperNI에 포함된 데이터 세트 중에서 한국어로 되어 있거나 흥미로운 주제를 담고 있는 데이터 세트를 다룸.

논문 소개

개요

• SuperNI는 Allen Institute for AI, University of Washington, Arizona State University를 비롯한 총 21개 기관 소속의 연구자들이 참여하여 1,600 여개의 NLP instruction 데이터를 제작하고 공개한 프로젝트
• github 주소 : https://github.com/allenai/natural-instructions
• 관련 논문 : https://arxiv.org/abs/2204.07705
• https://arxiv.org/abs/2104.08773 에서 61개 task에 대한 데이터를 공개하는 것으로 시작
• 총 88명의 contributor들이 기존에 공개된 NLP 데이터를 활용하고 crowdsourcing 하는 등의 방법으로 작업
• Tk-Instruct(영어) 및 mTk-Instruct(다국어) 모델 개발
• 각각 T5 및 mT5 모델을 SuperNI 데이터로 fine-tuning
• 119가지 영어 task에서 InstructGPT 대비 ROUGE-L 점수 기준 9.9점 향상
• 35가지 영어가 아닌 언어 task에서 InstructGPT 대비 13.3점 향상

방법론 상세

• 데이터 구조

1. Definition : task 수행을 위한 instruction
2. Positive examples : input / correct output / 관련 설명으로 구성
3. Negative examples : input / incorrect output / 관련 설명으로 구성
4. Evaluation instances : Tk-Instruct 및 mTk-Instruct 모델 학습에는 사용하지 않고 evaluation에만 사용하는 테스트 데이터. Task별 밸런스를 맞추기 위하여 최대 6500개로 제한
• SuperNI 데이터 세트의 간단한 통계 분석

• SuperNI에 포함된 Task의 종류 및 다른 instruction 데이터 세트와 비교

Results

• 전체 결과 summary
• 영어 : 발표 당시 기준 InstructGPT 대비 ROUGE-L 점수 기준 9.9점 높음 (52.1 vs 66.0)
• 다국어 : 발표 당시 기준 InstructGPT 대비 ROUGE-L 점수 기준 13.3점 높음 (52.8 vs 66.1)

• Task 유형별 성능 비교
• 모든 유형에서 InstructGPT보다 더 좋으며 일부 유형에서는 supervised SOTA 성능과 거의 유사한 수준

주요 데이터 소개

데이터에 가장 많이 포함된 범주

• 상위 범주를 살펴보면 위의 논문 리뷰에서 알 수 있는 것처럼 번역에 해당하는 과제가 가장 많고 번역 외에도 질의 응답, 프로그램 실행( “Generating text that follows simple logical operations such as "repeat", "before", "after" etc.” 등의 과제), 질의문 자동 생성, 감성 분석, 범주 분석, 문장 유사성 평가. 민감한 주제 탐지, 인과 관계 분류, 정보 추출 등이 많음
• 원천 데이터로 가장 많이 사용된 데이터를 살펴 보면 다음 표에서 확인할 수 있는 것처럼 위키피디아임을 알 수 있음

• 그 외에도 뉴스나 위키피디아와 뉴스를 같이 쓰는 경우가 많고 수학식, 대화, 일반상식, SNS 데이터 등이 많이 사용되었음

사용 언어

• 영어 데이터가 가장 많고 출력 형식이 한국어인 데이터는 모두 7개임.
• 출력만 한국어인 데이터는 모두 번역용 데이터이고 입출력이 모두 한국어인 데이터는 Pawsx( https://github.com/google-research-datasets/paws/tree/master/pawsx) 1개뿐임. Pawsx 데이터 세트는 프랑스어, 스페인어, 독일어, 중국어, 일본어, 한국어 등 유형적으로 구별되는 6개 언어를 사람이 번역한 PAWS 평가 쌍 23,659개와 기계 번역된 훈련 쌍 296,406개가 포함되어 있음. 번역은 PAWS-Wiki 에서 확인 가능 .

구체적인 예시는 다음과 같으며 레이블 0과 1은 문장의 관계가 같음(1로 표시)과 다름(0으로 표시)을 의미함

• 특징적으로 개체명에 해당하는 사람 이름이나 회사 이름 등은 모두 번역하지 않고 그대로 두었음. 또한 원천 데이터로 모두 Wikipedia를 사용했다는 특징이 있음.

참고

natural-instructions

allenai ⋅ a day ago

• Yinfei Yang, Yuan Zhang, Chris Tar, and Jason Baldridge. 2019. PAWS-X: A Cross-lingual Adversarial Dataset for Paraphrase Identification. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 3687–3692, Hong Kong, China. Association for Computational Linguistics.
• 데이터 분석에 사용한 원천 데이터

• 원천 데이터 정리