自然语言处理数据集集锦（持续更新ing...）

诸神缄默不语-个人CSDN博文目录

最近更新时间：2023.5.30
最早更新时间：2023.4.25

文本摘要主题的数据集见我之前写的另一篇博文：文本摘要数据集的整理、总结及介绍（持续更新ing…）
智能司法主题的数据集我准备等项目结束后发布。
其他NLP数据集见下：

1. 语料库

1.1 中文

1. CLUEbenchmark/CLUECorpus2020: Large-scale Pre-training Corpus for Chinese 100G 中文预训练语料
2. FudanNLPLAB/CBook-150K: 中文图书语料MD5链接
3. Index of /zhwiki/latest/
4. PCL-Platform.Intelligence/Chinese_WPLC: 中文长上下文词语预测（Chinese WPLC）数据集 - Chinese_WPLC - OpenI - 启智AI开源社区提供普惠算力！
5. 诗歌和音韵：THUNLP-AIPoet/Datasets: Poetry-related datasets developed by THUAIPoet (Jiuge) group.
6. WuDaoCorpora Text文本预训练数据集

2. QA数据集

2.1 英文

1. QQP First Quora Dataset Release: Question Pairs - Data @ Quora - Quora

3. 对话系统

3.1 open-domain

3.1.1 中文

1. https://huggingface.co/datasets/fnlp/moss-002-sft-data
2. https://github.com/OpenLMLab/MOSS/tree/main/SFT_data/conversations/conversation_with_plugins
3. https://github.com/OpenLMLab/MOSS/tree/main/SFT_data/conversations/conversation_without_plugins
4. thu-coai/CDial-GPT: A Large-scale Chinese Short-Text Conversation Dataset and Chinese pre-training dialog models
5. 中文对话指令集：OpenLabel-Chinese Conversations Dataset (OL-CC)

4. 多模态

4.1 图文匹配

1. Flickr 30k From image descriptions to visual denotations: New similarity metrics for semantic inference over event descriptions

5. NLG

5.1 复述

1. ParaNMT-50M: Pushing the Limits of Paraphrastic Sentence Embeddings with Millions of Machine Translations
   1. Para-nmt-50m https://drive.google.com/file/d/1rbF3daJjCsa1-fu2GANeJd2FBXos1ugD/view?usp=sharing
   2. Para-nmt-5m-processed https://drive.google.com/file/d/19NQ87gEFYu3zOIp_VNYQZgmnwRuSIyJd/view?usp=sharing

5.2 代码生成

1. HumanEval Dataset | Papers With Code

6. 自然语言推理NLI

6.1 集锦

1. 赛尔笔记 | 自然语言推理数据集简述 - 知乎
2. GLUE部分基准数据集介绍：RTE、MRPC、SST-2、QNLI、MNLI、QQP_真·skysys的博客-CSDN博客

6.2 英文

1. SNLI https://nlp.stanford.edu/projects/snli/

5. 其他集成性项目 / benchmark

5.1 中文

1. CLUEbenchmark/CLUE: 中文语言理解测评基准 Chinese Language Understanding Evaluation Benchmark: datasets, baselines, pre-trained models, corpus and leaderboard
2. 中文医疗信息处理评测基准CBLUE
3. 千言（LUGE）| 全面的中文开源数据集合
4. funNLP
5. brightmart/nlp_chinese_corpus: 大规模中文自然语言处理语料 Large Scale Chinese Corpus for NLP

5.2 中文多模态

1. MUGE(Multimodal Understanding and Generation Evaluation)

5.3 英文

1. SemEval
2. BIG-bench
   1. 官方GitHub项目：google/BIG-bench: Beyond the Imitation Game collaborative benchmark for measuring and extrapolating the capabilities of language models
   2. 论文：Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models
3. Multi-task Language Understanding on MMLU

5.4 多语言

1. GlobalBench: A Benchmark for Global Progress in Natural Language Processing

6. 文本分类

6.1 多语言

1. Taxi1500 Taxi1500: A Multilingual Dataset for Text Classification in 1500 Languages