导读：本文要介绍的这些技法，会用Python读入各种格式的数据，并存入关系数据库或NoSQL数据库。
作者：托马兹·卓巴斯（Tomasz Drabas）
本文摘编自《数据分析实战》，如需转载请联系我们
本文的源代码与数据集都可在Github上获取。如果要复制代码库，打开你的终端（Windows环境下的命令行、Cygwin或Git Bash，Linux/Mac环境下的Terminal），键入下面这条命令：
git clone
注意，你的机器得装好Git了。安装指南参见：
我们将使用一个数据集，包含985项真实的房产交易。这些交易是连续5天内在Sacramento发生的。数据下载自：
精确地说，来自：
数据已转成多种格式，放在GitHub代码库的Data/Chapter01文件夹中。
另外，你会学到如何从HTML文件中检索信息。出于这个目的，我们将使用Wikipedia上字母A打头的机场列表：
我们将使用OpenRefine清理我们的数据集；它很擅长数据的读取、清理以及转换数据。
01 用Python读写CSV/TSV文件
CSV和TSV是两种特定的文本格式：前者使用逗号分隔数据，后者使用\t符。这赋予它们可移植性，易于在不同平台上共享数据。
1. 准备
要实践这个技法，你要先装好pandas模块。这些模块在Anaconda发行版Python中都有。如果你装的是这个版本，就省事了。如果不是，那你得安装pandas并确保正确加载。
可以从
下载Anaconda。
如果你装了Python，没有pandas，你可以从
下载，并按照文档安装到你的操作系统中。
此外没有要求了。
2. 怎么做
pandas模块提供了高性能的高级数据结构（比如DataFrame）以及一些基本的分析工具。
DataFrame是一种数据结构，有点像Excel表格，列代表数据集的维度（例如，人的身高和体重），行存储着数据（例如，1000个人的具体身高和体重数据）。参考：
打开命令行控制台（Windows环境下可使用命令或Cygwin，Linux/Mac环境下可使用Terminal），执行这条命令：
你会看到类似这样的输出：
3. 原理
首先加载pandas，以使用DataFrame及相关方法来读写数据。注意，关键词as赋给pandas一个别名pd。这样在后面的代码中，使用DataFrame或read_csv(...)方法时，我们就不用写出包的全名了。我们将（用于读和写的）文件名分别存于变量r_filenameCSV(TSV)和w_filenameCSV(TSV)。
两个文件中的数据一模一样，所以你可以输出一些记录，看看文件是否正确读入。这可通过对DataFrame对象应用.head()方法达成，其中指的是要输出的行数。
将数据存于pandas DataFrame对象意味着，数据的原始格式并不重要；一旦读入，它就能保存成pandas支持的任何格式。在前面这个例子中，我们就将CSV文件中读取的内容写入了TSV文件。
无论读写，打开文件都要使用with open(…) as …:这个固定搭配。这种方式的优点在于，一旦完成了读写任务，即使由于某些原因抛出了异常，文件依然会正确关闭。
异常是指程序员写代码时期望之外的情况。
例如，假设你有一个文件，每行只包含一个数字：你打开这个文件，开始读取。每一行作为文本读入，你需要将文本转为一个整数——计算机可以将其作为数字理解（并处理）的数据结构，而非文本。
当数据中只有数字时一切安好。然而，你将会认识到，我们收集的数据在某些方面是有瑕疵的，那么，某些行包含一个字母而非数字时，文本到整数的转换会失败，而Python会抛出一个异常。
open(, ‘w’)会以写模式（w参数）打开指定的文件。也可以传入’r’指定以读模式打开文件。以’r+’模式打开文件允许数据的双向流动（读取和写入），这样你就可以在需要时往文件的末尾附加内容。你也可以指定rb或wb来处理二进制数据（而非文本）。
to_csv(…)方法将DataFrame的内容转换为可存储于文本文件的格式。你要指定分隔符，比如sep=‘,’，以及是否保存DataFrame的索引，默认是保存的。我们不希望存，所以要指定index=False。
用索引可以很方便地辨认、校准、访问DataFrame中的数据。索引可以是一列连续的数字（就像Excel中的行号）或日期；你还可以设定多列索引。索引列并不是数据（即便打印DataFrame对象时你会在屏幕上看到索引）。
要了解更多关于索引的内容，可访问：
4. 更多
我们将标签和数据分别存储于csv(tsv)_labels和csv(tsv)_data两个列表。.reader(…)方法从文件中逐行读取数据。要创建.reader(…)对象，你要传入一个打开的CSV或TSV文件对象。另外，要读入TSV文件，你也得像DataFrame中一样指定分隔符。
5. 参考
查阅pandas文档中讲解reader_csv(…)和write_csv(…)的部分，了解更多可传入的参数。文档位于：
02 用Python读写JSON文件
JSON的全称是JavaScript Object Notation。这是个嵌套的、类似字典的结构，以逗号为分隔符，存储键值对；键与值之间以冒号分隔。JSON格式独立于具体平台（就像XML，我们将在 用Python读写XML文件介绍），便于平台之间共享数据。
要深入了解JSON，可参考：
1. 准备
要实践这个技法，你要先装好pandas模块。此外没有要求了。
2. 怎么做
3. 原理
这段代码与前一节的类似。首先，指定JSON文件的名字——我们将其存于r_filenameJSON字符串中。然后，使用pandas的read_json(…)方法，传入r_filenameJSON。
读出的数据存储于json_read这一DataFrame对象。进而使用.tail(…)方法打印出最后10条数据。要写入一个JSON文件，你可以对DataFrame使用.to_json()方法，将返回的数据写进一个文件，类似用Python读写CSV/TSV文件中介绍的流程。
4. 更多
5. 参考
参阅pandas文档中read_json的部分。文档位于：
03 用Python读写Excel文件
以表格形式操作数据的文件格式中，Microsoft的Excel文件可以说是最流行的了。拿最新的XLSX格式来说，Excel可以在单个工作表中存储一百多万行及一万六千多列。
1. 准备
要实践这个技法，你要先装好pandas模块。此外没有要求了。
2. 怎么做
3. 原理
类似之前的例子。用pandas的ExcelFile(...)方法打开XLSX文件，并赋给xlsx_file对象。用.parse(...)方法读取指定工作表的内容，并存储于xlsx_read字典。注意，通过ExcelFile对象的.sheet_names属性，你可以访问Excel文件中的所有工作表。
创建xlsx_read字典时，我们使用了字典表达式，这个做法很Python：不是显式地遍历工作表，将元素添加到字典，而是使用字典表达式，让代码更可读、更紧凑。
表达式效仿数学上的表示方法，这让代码更容易理解。比方说，2的幂次的列表：（A = (2^0, 2^1, 2^2, …, 2^8) = (2^x: 0
另外，Python里，表达式也比显式的循环要快那么一点点。
range(, )函数生成了从到-1的一列整数。例如，range(0, 3)生成的序列是0，1，2.
存储数据到Excel文件中也很简单。仅需调用.to_excel(...)方法，第一个参数传你要保存数据的文件名，第二个参数传工作表的名字。在我们的例子中，我们还指定了index=False，这样不会保存索引；默认情况下，.to_excel(...)方法保存A列的索引。
4. 更多
读取Excel文件，除了用pandas的read_excel(...)方法，你也可以选择其它Python模块。pandas使用xlrd读取数据并转成DataFrame。
首先，读取Excel文件，存入xlsx_wb（工作簿）。从工作簿中提取所有工作表的名字，并存入sheets变量。这里我们的工作簿中只有一个工作表，所以sheets变量就等于'Sacramento'。我们用它创建一个xlsx_ws对象，以遍历所有的行：
第一行是所有列的标签，最好还是单独存储——我们放到labels变量中。进而使用.rows迭代器，遍历工作表中每一行，将所有单元格中的数据加入data列表：
代码最后打印出头10行的房屋价格。我们使用表达式生成价格的列表。如代码所示，对于列表对象，你可以调用.index(...)方法查找某一元素首次出现的位置。
5. 参考
查阅pandas文档中read_excel的部分。文档在
另外，你可以访问
找到一系列模块，可帮你处理.xls和.xlsx等Excel文件格式。
04 用Python读写XML文件
XML的全称是eXtensible Markup Language（扩展标记语言）。尽管不像前面介绍的格式那样流行，不少网络API还是支持XML编码的。
XML文档结构类似一棵树。读取内容时，我们首先访问根节点（通常来说，这个节点后面会跟着XML的声明；每个XML文档都要以这样的声明开头）。在我们的例子中，根节点是。一个...中包含了一系列...。
xml模块的文档参见：
1. 准备
要实践这个技法，你要先装好pandas和xml模块。此外没有要求了。
2. 怎么做
3. 原理
使用read_xml(...)方法从XML文件读取数据：
这个方法只消传入文件名这一个参数。首先，打开文件。使用.parse(...)方法，我们由XML文件创建了一个树状结构并存入tree对象。接着，在tree对象上用.getroot()方法提取根节点：这是进一步处理数据的前提。最后一行调用iter_records方法，传入根节点的引用，进而将返回的信息转换成DataFrame：
iter_records方法是一个生成器：顾名思义，这个方法生成一些值。普通方法结束时（return语句）一次性返回所有的值；生成器不同，每次只向调用方返回一个值（即yield关键字），直到结束。
更深入地讨论生成器，建议阅读
我们的iter_records方法，每读入一行，就返回一个temp_dict字典对象给read_xml方法。字典中每个元素的键名对应XML中元素的var_name属性。（有这样的格式：。）
标签可能有其它名字的属性——这些属性会存在.attrib字典（XML树节点一个属性）并通过各自的名字访问——参考代码中高亮的部分。
的值（...内的部分）可通过XML节点的.text属性访问，而.tag属性存储其名字（这个例子中就是var）。
read_xml方法的return语句从传入的所有字典中创建一个列表，转换成DataFrame。
我们使用write_xml(...)方法，以XML格式写入数据：
接下来就是写数据。使用DataFrame对象的.apply(...)方法遍历内部每一行。第一个参数指定了要应用到每行记录上的方法。axis参数的默认值为0。意味着指定的方法会应用到DataFrame的每一列上。指定为1，我们让.applay(...)方法将指定的xml_encode(...)方法应用到DataFrame的每一行上。使用xml_encode(...)方法处理data DataFrame的每一行：
代码生成了一个字符串列表，xmlItem。列表的首元素是，尾元素是。对行中每个字段，我们以>的格式封装，并加进字符串列表。加粗部分指的是列名（）和对应的值（）。
解析完所有字段后，使用'\n'.join(...)方法，将xmlItem列表中所有项连接成一个长字符串。...标签之间以\n分隔。这个字符串被返回给调用方（write_xml）。记录在write_xml(...)方法中进一步连接，并输出到文件。最后加上闭合标签，大功告成。
05 用pandas解析HTML页面
尽管以前面介绍的格式保存数据是最常见的，我们有时还是要在网页表格中查找数据。数据的结构通常包含在标签内。本技法会介绍如何从网页获取数据。
1. 准备
要实践这个技巧，你要先装好pandas和re模块。re是Python的正则表达式模块，我们用它来清理列名。另外，使用pandas 的read_html(...)方法要预装html5lib模块。如果你使用的是Anaconda发行版Python，使用下面的命令就可以：
conda install html5lib
如果不是，你可以从
下载源代码。解压，手动安装模块：
cd html5lib-python-parser
此外没有要求了。
2. 怎么做
3. 原理
pandas 的read_html(...)方法解析HTML文件的DOM结构，从所有table节点中提取数据。第一个参数可以是URL、文件或HTML标签原始字符串。第二个参数指定header = 0，忽略了表头。
read_html(...)方法返回了一个DataFrame对象的列表，每项对应于HTML文件中一个table。Wikipedia的机场页面只包含了一个table，所以我们只要取DataFrame列表的首元素。是的，就是这样！机场列表已经在url_read对象中了。
拿到的数据还有两点瑕疵：列名包含空白字符，数据包含分隔行。对于名字中可能包含多种空白字符（空格符、制表符等）的问题，我们使用re模块：
首先，编译那个匹配出至少一个空白字符的正则表达式。
对正则表达式的详细讨论超出了本书的知识范围。关于这个主题，有个知识手册写得挺好的：
或者参考re模块的文档：
查看Wikipedia上的机场表，你会发现它根据前两个字母分组，组与组之间有分隔行。分隔行中缺失了其它列。为了处理这个问题，我们使用DataFrame的.dropna (...)方法。
pandas有多种方法用于处理NaN（Not a Number）情况。估算缺失值会介绍.fillna (...)方法。
.dropna (...)方法删掉缺少任意字段数据的行（或者列）。调用.dropna (...)时很容易不传任何参数，这样即便是合理的行，只要缺了夏时制（Daylight Saving Time, DST）或国际民航组织机场代码，也会被删掉。我们可以设道门槛。
粗粗浏览下数据可以发现，有些合理的行最多会缺两个字段。参数inplace=True直接在原来的DataFrame对象上移除数据，而非复制出一个DataFrame、清理后再返回；默认值是inplace=False：
移除一些行后，DataFrame的索引会产生空洞。可以使用这行代码：
下面这行代码输出头10行IATA代码及对应的机场名：
如果想取出不止一列，可以以列表的形式传入；在我们的例子中，就是['IATA', 'Airport_name']。下面的代码是等效的：
关于作者：托马兹·卓巴斯（Tomasz Drabas）微软数据科学家，致力于解决高维特征空间的问题。他有超过13年的数据分析和数据科学经验：在欧洲、澳大利亚和北美洲三大洲期间，工作领域遍及高新技术、航空、电信、金融和咨询。