数据整理（Data Wrangling）
数据整理(Data Wrangling)可归纳为以下三步：
- 数据收集(Gather)
- 数据评估(Assess)
- 数据清理(Clean)
数据收集（Gather）
收集数据的方式有很多，最简单、最常见的是下载现成的数据。比如从kaggle上下载数据集。
但为了可扩展性（Scalability）和重复性（Reproducibility），有时需要以编程的（Programmatically）方式下载。比如需要下载的文件量较大，有成百上千个，甚至位于不同页面。
从网上爬取数据。比如爬知乎，爬豆瓣。
从各种API获得数据。比如电影数据API，股票数据API，Twitter数据API，等等。
数据评估（Assess）
可以从两方面进行：质量（Quality），整洁度（Tidiness）
质量（Quality）
低质量数据常被称为脏数据（dirty data），比如：
- 数据丢失，缺值。
- 数据无效。
- 数据不准确。
- 数据不一致，比如使用不同的长度单位（英寸和厘米）。
整洁度（Tidiness）
不整洁数据常被称为杂乱数据（messy data），是统计学家、教授和全能数据专家 Hadley Wickham 提出的概念。
A dataset is messy or tidy depending on how rows, columns, and tables are matched up with observations, variables, and types. In tidy data:
- Each variable forms a column.
- Each observation forms a row.
- Each type of observational unit forms a table.
数据清理(Clean)
分为手工清理和程序清理。
程序清理：
- Define: convert our assessments into defined cleaning tasks. These definitions also serve as an instruction list so others (or yourself in the future) can look at your work and reproduce it.
- Code: convert those definitions to code and run that code.
- Test: test your dataset, visually or with code, to make sure your cleaning operations worked.
Always make copies of the original pieces of data before cleaning!
Reassess and Iterate
- After cleaning, always reassess and iterate on any of the data wrangling steps if necessary.
Store (Optional)
- Store data, in a file or database for example, if you need to use it in the future.