Python数据分析模块pandas之数据加载

OpenPyXL、XlsxWriter、pyxlsb、xlrd 和 xlwt：它们都是可以用来读写Excel文件的包，在调用pandas的read_excel函数和to_excel函数时，这些包就在背后完成相应的工作。

如果同时安装了OpenPyXL和XlsxWriter，那么pandas默认使用XlsxWriter。如果你想亲自选择pandas所使用的包，则可以在read_excel或to_excel，以及ExcelFile或ExcelWriter的engine参数中指定所选包。

如果要用OpenPyXL而不是XlsxWriter来写文件，则需要执行如下代码：

df.to_excel("filename.xlsx", engine="openpyxl")

文本文件

df = pd.DataFrame(
    {
        "color": ["red", "blue", "yellow", "blue"],
        "price": [1, 3, 5, 6],
    }
)
df.to_csv("data.csv")  # 保存到csv
df = pd.read_csv("data.csv", index_col=0)  # 加载csv

参数sep指定分隔符，默认是逗号，sep='t'指定分隔符为制表符分隔tab。pd.read_table()默认分隔符是制表符分隔tab。

列、索引、名称

pd.read_csv('data.csv', header=None)  # 没有表头
pd.read_csv('data.csv', names=['列1', '列2', '列3'])  # 指定列名
pd.read_csv('data.csv', prefix='c_', header=None)  # 如没列名，自动指定一个：前缀加序数
pd.read_csv('data.csv', usecols=[0,2])  # 按列索引读取指定列，['col1', 'col3']按列名称读取指定列
pd.read_csv('data.csv', index_col=2)  # 第3列是行索引

数据类型

import numpy as np
pd.read_csv('data.csv', dtype=str)  # 所有数据均为此数据类型
pd.read_csv('data.csv', dtype={'col1':str, 'col3':np.float16})  # 指定字段类型

Excel文件

pandas模块读取Excel文件，可能需要安装openpyxl库依赖：pip install openpyxl。

to_excel()

df = pd.DataFrame(
    {
        "color": ["red", "blue", "yellow", "blue"],
        "price": [1, 3, 5, 6],
    }
)
df.to_excel("data.xlsx", index=False)  # 保存到excel文件
df = pd.read_excel("data.xlsx")  # 加载csv

参数	描述
na_rep 和inf_rep	在默认情况下，np.nan 会被转换为空单元格，而 NumPy 用来表示无穷的 np.inf 会被转换为字符串 inf。利用这两个参数可以修改默认行为
freeze_panes	通过提供一个元组来冻结前几行和前几列，比如 (2, 1) 会冻结前两行和第一列

read_excel()

参数	描述
names	提供列名称列表
na_values	在默认情况下，pandas 会将这些值解释为NaN：空单元格、#NA、NA、null、#N/A、N/A、NaN、n/a、-NaN、1.#IND、 nan、 #N/A N/A、 -1.#QNAN、-nan、NULL、-1.#IND、和1.#QNAN。如果需要往这些值中添加一个或多个值，则可以通过na_values 来提供
keep_default_na	如果希望忽略 pandas 默认解释为 NaN 的值，可将参数设置为keep_default_na=False
convert_float	在默认情况下，Excel 会在内部将所有数字都以浮点型保存，pandas 会将带有无意义的小数点的数字转换为整数。如果想改变这种行为，则可以将参数设置为convert_ float=False（可能会获得少许性能提升）
converters	可以为各列提供一个函数来转换其中的值。如果要将某一列中的文本转换为大写，则可以将参数设置为：converters={"column_name": lambda x: x.upper()}

ExcelFile 类

如果想从旧式的 xls 文件中读取多张工作表，ExcelFile 就会发挥作用。在这种情况下，ExcelFile 可防止pandas 多次读取整个文件，从而获得较快的速度。

with pd.ExcelFile("stores.xls") as f:
    df1 = pd.read_excel(f, "2019", skiprows=1, usecols="B:F", nrows=2)
    df2 = pd.read_excel(f, "2020", skiprows=1, usecols="B:F", nrows=2)

也可以通过 ExcelFile 访问所有工作表的名称：

stores = pd.ExcelFile("stores.xlsx")
stores.sheet_names

MySQL数据库

import pandas as pd
import numpy as np
from sqlalchemy import create_engine, text
from config import DB_URI

data = np.random.randint(0, 100, size=(5, 3))
df = pd.DataFrame(data, columns=["A", "B", "C"])

conn = create_engine(DB_URI)  # 先连接MySQL

# 保存到MySQL
df.to_sql(
    name="score",  # 表名
    con=conn,  # 数据库连接对象
    index=False,  # 不保存行索引
    if_exists="append",  # 如果表存在，则追加数据
)

# 从MySQL中加载数据
df = pd.read_sql(
    sql=text("select * from score"),
    con=conn.connect(),
)