MedQA、MedMCQA、PubMedQA 和 MMLU数据集简介
1. MedQA数据集
-
简介
- MedQA 数据集是一个面向医学领域的问答数据集，模拟了美国医疗执照考试（USMLE）的风格。它包含了英文、简体中文和繁体中文的问题，旨在评估模型对医学知识的理解和推理能力。
-
数据集主页
-
问题类型
- 单选题
-
数据集的完整格式
{
"question": "问题文本",
"options": ["选项A", "选项B", "选项C", "选项D"],
"answer": "A"
}
- 模型的回答
{
"id": "问题的标识符",
"prediction": "A"
}
2. MedMCQA数据集
-
简介
- MedMCQA 是一个大规模的多选题问答（MCQA）数据集，专为解决实际医学入学考试问题而设计。它包含了超过194,000个高质量的 AIIMS 和 NEET PG 入学考试多选题，涵盖2,400个医疗保健主题和21个医学科目。
-
数据集主页
-
问题类型
- 多选题
-
数据集的完整格式
{
"question": "问题文本",
"opa": "选项A",
"opb": "选项B",
"opc": "选项C",
"opd": "选项D",
"cop": "a",
"choice_type": "multi",
"exp": "答案解释",
"subject_name": "科目名称",
"topic_name": "主题名称"
}
- 模型的回答
{
"id": "问题的标识符",
"prediction": ["a", "c"]
}
3. 数据集
-
简介
- PubMedQA 数据集是从PubMed摘要中收集的新颖的生物医学问答（QA）数据集。它要求模型能够理解并推理生物医学研究文本，尤其是其中的定量内容，以回答研究问题。
-
数据集主页
-
问题类型
扫描二维码关注公众号，回复： 17523294 查看本文章
- 解释类
-
数据集的完整格式
{
"question": "问题文本",
"context": "相关上下文文本",
"long_answer": "长答案文本",
"answer": "yes/no/maybe"
}
- 模型的回答
{
"id": "问题的标识符",
"prediction": "maybe"
}
4. MMLU数据集
- 简介
- MMLU（大规模多任务语言理解）数据集是一个多语言、多任务的评测数据集，旨在评估和提升人工智能模型在不同语言、认知和文化背景下的性能。
- 数据集主页
- 问题类型
- 单选题
- 数据集的完整格式
{
"question": "问题文本",
"options": ["选项1", "选项2", "选项3", "选项4"],
"answer": "1"
}
- 模型的回答
{
"id": "问题的标识符",
"prediction": "1"
}