Python数据分析模块pandas之数据加载

57次阅读
没有评论

共计 2515 个字符,预计需要花费 7 分钟才能阅读完成。

OpenPyXL、XlsxWriter、pyxlsb、xlrd 和 xlwt:它们都是可以用来读写 Excel 文件的包,在调用 pandas 的 read_excel 函数和 to_excel 函数时,这些包就在背后完成相应的工作。

如果同时安装了 OpenPyXL 和 XlsxWriter,那么 pandas 默认使用 XlsxWriter。如果你想亲自选择 pandas 所使用的包,则可以在 read_excel 或 to_excel,以及 ExcelFile 或 ExcelWriter 的 engine 参数中指定所选包。

如果要用 OpenPyXL 而不是 XlsxWriter 来写文件,则需要执行如下代码:

df.to_excel("filename.xlsx", engine="openpyxl")

文本文件

df = pd.DataFrame(
    {"color": ["red", "blue", "yellow", "blue"],
        "price": [1, 3, 5, 6],
    }
)
df.to_csv("data.csv")  # 保存到 csv
df = pd.read_csv("data.csv", index_col=0)  # 加载 csv

参数 sep 指定分隔符,默认是逗号,sep=’t’ 指定分隔符为制表符分隔 tab。pd.read_table() 默认分隔符是制表符分隔 tab。

列、索引、名称

pd.read_csv('data.csv', header=None)  # 没有表头
pd.read_csv('data.csv', names=['列 1', '列 2', '列 3'])  # 指定列名
pd.read_csv('data.csv', prefix='c_', header=None)  # 如没列名,自动指定一个:前缀加序数
pd.read_csv('data.csv', usecols=[0,2])  # 按列索引读取指定列,['col1', 'col3'] 按列名称读取指定列
pd.read_csv('data.csv', index_col=2)  # 第 3 列是行索引 

数据类型

import numpy as np
pd.read_csv('data.csv', dtype=str)  # 所有数据均为此数据类型
pd.read_csv('data.csv', dtype={'col1':str, 'col3':np.float16})  # 指定字段类型 

Excel 文件

pandas 模块读取 Excel 文件,可能需要安装 openpyxl 库依赖:pip install openpyxl

to_excel()

df = pd.DataFrame(
    {"color": ["red", "blue", "yellow", "blue"],
        "price": [1, 3, 5, 6],
    }
)
df.to_excel("data.xlsx", index=False)  # 保存到 excel 文件
df = pd.read_excel("data.xlsx")  # 加载 csv
参数 描述
na_rep 和 inf_rep 在默认情况下,np.nan 会被转换为空单元格,而 NumPy 用来表示无穷的 np.inf 会被转换为字符串 inf。利用这两个参数可以修改默认行为
freeze_panes 通过提供一个元组来冻结前几行和前几列,比如 (2, 1) 会冻结前两行和第一列

read_excel()

参数 描述
names 提供列名称列表
na_values 在默认情况下,pandas 会将这些值解释为 NaN:空单元格、#NA、NA、null、#N/A、N/A、NaN、n/a、-NaN、1.#IND、nan、#N/A N/A、-1.#QNAN、-nan、NULL、-1.#IND、和 1.#QNAN。如果需要往这些值中添加一个或多个值,则可以通 过 na_values 来提供
keep_default_na 如果希望忽略 pandas 默认解释为 NaN 的值,可将参数设置为 keep_default_na=False
convert_float 在默认情况下,Excel 会在内部将所有数字都以浮点型保存,pandas 会将带有无意义 的小数点的数字转换为整数。如果想改变这种行为,则可以将参数设置为 convert_ float=False(可能会获得少许性能提升)
converters 可以为各列提供一个函数来转换其中的值。如果要将某一列中的文本转换为大写,则 可以将参数设置为:converters={“column_name”: lambda x: x.upper()}

ExcelFile 类

如果想从旧式的 xls 文件中读取多张工作表,ExcelFile 就会发挥作用。在这种情况下,ExcelFile 可防止 pandas 多次读取整个文件,从而获得较快的速度。

with pd.ExcelFile("stores.xls") as f:
    df1 = pd.read_excel(f, "2019", skiprows=1, usecols="B:F", nrows=2)
    df2 = pd.read_excel(f, "2020", skiprows=1, usecols="B:F", nrows=2)

也可以通过 ExcelFile 访问所有工作表的名称:

stores = pd.ExcelFile("stores.xlsx")
stores.sheet_names

MySQL 数据库

import pandas as pd
import numpy as np
from sqlalchemy import create_engine, text
from config import DB_URI

data = np.random.randint(0, 100, size=(5, 3))
df = pd.DataFrame(data, columns=["A", "B", "C"])

conn = create_engine(DB_URI)  # 先连接 MySQL

# 保存到 MySQL
df.to_sql(
    name="score",  # 表名
    con=conn,  # 数据库连接对象
    index=False,  # 不保存行索引
    if_exists="append",  # 如果表存在,则追加数据
)

# 从 MySQL 中加载数据
df = pd.read_sql(sql=text("select * from score"),
    con=conn.connect(),)

正文完
 0
三毛笔记
版权声明:本站原创文章,由 三毛笔记 于2023-08-04发表,共计2515字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)