## sliderkz

一个在线免费音乐搜索下载工具，可以搜索下载全球的音乐资源，而且无需注册登陆即可试听播放和下载音乐，下载格式是mp3格式，能满足普通用户听歌的需求。

## 网站地址

sliderkz：[https://slider.kz/](https://slider.kz/)


sliderkz-免费音乐搜索下载工具

Requests [中文文档](https://requests.readthedocs.io/projects/cn/zh_CN/latest/) 很有趣，有兴趣的可以先看看。

## 数据提取

    import requests
    from lxml import etree  # xpath库
    url = "https://www.xinpianchang.com/discover/article?from=navigator"
    headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36"
    }
    response = requests.get(url, headers=headers, timeout=10)  # 发起请求
    print(response.status_code)  # 返回状态码
    tree = etree.HTML(response.text)  # 返回源代码，可能会乱码
    elements = tree.xpath("//h2[@class='truncate block']")
    for element in elements:
    print(element.text)
    content是二进制字节码，使用utf-8来解析
    print(response.content.decode("utf-8"))

## 数据存储

### 下载图片

    import requests
    url = "https://img2.woyaogexing.com/2022/06/24/783b56bc70a892a9!400x400.jpg"
    response = requests.get(url)
    content = response.content
    with open("123.jpg", "wb") as f:
    f.write(content)

也可以urlretrieve()方法直接将远程数据下载到本地。

    from urllib.request import urlretrieve
    url = "https://img2.woyaogexing.com/2022/06/24/783b56bc70a892a9!400x400.jpg"
    urlretrieve(url, "1.jpg")

### 下载视频

    import requests
    url = "https://video.pearvideo.com/mp4/adshort/20220622/cont-1765998-15899235_adpkg-ad_hd.mp4"
    response = requests.get(url, stream=True)
    content = response.content
    with open("1.mp4", "wb") as f:
    f.write(content)
    或者用下面的分段下载，比较不占内存
    with open("2.mp4", "wb") as f:
    for i in response.iter_content(1024 * 1024):  # 1 M
    f.write(i)

### 文本内容

    import csv
    data = [[1, 2, 3], [4, 5, 6]]
    with open("1.csv", "w", newline="") as f:
    csv_writer = csv.writer(f)
    csv_writer.writerows(data)

## POST 请求

    url = "http://httpbin.org/post"
    data = {"username": "abc", "password": "123"}
    files = {"img": open("data/123.jpg", "rb")}
    resp = requests.post(url, data=data, files=files)
    print(resp.text)

## cookie登录

    import requests
    会话
    session = requests.session()
    data = {
    'name': ''
    'password': ''
    }
    1. 登录
    url = ''
    session.post(url, data=data)
    2. 拿数据
    res = session.get('')
    print(res.json())

## 防盗链

    import requests
    url = 'https://www.pearvideo.com/video_1756378'
    contId = url.split('_')[1]
    videoStatusUrl = f'https://www.pearvideo.com/videoStatus.jsp?contId={contId}&mrd=0.6270606489702433'
    headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36',
    # 防盗链：溯源，当前本次请求的上一级是谁
    'Referer': url
    }
    res = requests.get(videoStatusUrl, headers=headers)
    dic = res.json()
    srcUrl = dic['videoInfo']['videos']['srcUrl']
    systemTime = dic['systemTime']
    srcUrl = srcUrl.replace(systemTime, f'cont-{contId}')
    下载视频
    with open('a.mp4', 'wb') as f:
    f.write(requests.get(srcUrl).content)

## 代理

    import requests
    url = 'https://www.baidu.com/'
    proxies = {
    'https': 'https://36.6.57.27:40257'
    }
    headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36',
    }
    resp = requests.get(url, headers=headers, proxies=proxies)
    resp.encoding = 'utf-8'
    print(resp.text)


Python HTTP客户端库Requests

数据分析的基本流程，一般分为四个步骤（对应四个工作过程）：

- 了解并确定问题，即数据收集
- 分解问题和数据，即数据清洗
- 评估与分析数据，即数据分析
- 得出结论和支持决策，即数据报告

## 读取数据

### 导库

    import numpy as np
    import pandas as pd
    import matplotlib.pyplot as plt
    import seaborn as sns
    import warnings
    sns.set(style="darkgrid", font_scale=1.2)
    plt.rcParams["font.family"] = "SimHei"
    plt.rcParams["axes.unicode_minus"] = False
    warnings.filterwarnings("ignore")

### 加载数据集

    data = pd.read_csv("data.csv")
    print(data.shape)
    data.head()
    data.sample()

## 数据清洗

符合整洁数据的三个特点：

- 每列是一个变量
- 每行是一个观察值
- 每个单元格是一个值

### 缺失值

#### 缺失值探索

    data.info()
    t = data.isnull().sum()
    t = pd.concat([t, t / len(data)], axis=1)  # 左右拼接，横向拼接
    t.columns = ["缺失值数量", "缺失值比例"]
    display(t)

#### 缺失值处理

对于缺失值，可以使用如下的方式处理 :

- 删除缺失值

- 仅适合于缺失数量很少的情况

- 填充缺失值

- 数值变量

- 均值填充
- 中值填充
- 插值填充

- 类别变量

- 众数填充
- 单独作为一个类别

- 额外处理说明

- 缺失值小于20%，直接填充
- 缺失值在20% ~ 80%，填充变量后，同时增加一列，标记该列是否缺失，参与后续建模
- 缺失值大于80%，将该列转换为二值变量(例如1与0)，用来表示记录是否缺失

    ## 数据发布
    print(data["CRIM"].skew())
    sns.distplot(data["CRIM"].dropna())
    ## 右偏，可采用中位数填充
    data.fillna({"CRIM": data["CRIM"].median()}, inplace=True)

### 异常值

#### 异常值探索

    data.describe()  # 显示数据的统计信息，可作为一种简单的异常探索方式

根据正态分布的特性，可以将3σ之外的数据，视为异常值。

    mean, std = data["CRIM"].mean(), data["CRIM"].std()
    lower, upper = mean - 3 * std, mean + 3 * std
    print("均值：", mean)
    print("标准差：", std)
    print("下限：", lower)
    print("上限：", upper)
    ## 获取在3倍标准差之外的数据
    data["CRIM"][(data["CRIM"] < lower) | (data["CRIM"] > upper)]

箱线图是一种常见的异常检测方式，其采用四分位的方式进行检测。

    sns.boxplot(data=data["CRIM"])

#### 异常值处理

对于异常值，可以采用如下的方式处理 :

- 删除异常值
- 视为缺失值处理
- 对数转换
- 使用临界值填充（在3σ与箱线图中，可以这样来处理）
- 使用分箱法离散化处理

如果数据中存在较大的异常值，可以通过取对数来进行转换，这样可以得到一定的缓解。例如，变量呈现右偏分布（不适合左偏分布），可以进行取对数转换。

    fig, ax = plt.subplots(1, 2)  # 子图的行列数
    fig.set_size_inches(15, 5)
    sns.distplot(data["CRIM"], ax=ax[0])
    sns.distplot(np.log(data["CRIM"]), ax=ax[1])

取对数的方式比较简单，不过也存在一些局限：取对数只能针对正数操作。不过可以通过如下的方式进行转换： np.sign(x) * np.log(np.abs(x) + 1)

### 重复值

#### 重复值探索

    print(data.duplicated().sum())  # 发现重复值
    data[data.duplicated(keep=False)]  # 查看哪些记录出现了重复值

#### 重复值处理

    data.drop_duplicates(inplace=True)  # 直接删除重复值


Python数据分析流程（读取数据、数据清洗）

## 比率检验

总体比率指具有某种特征的个体所占有的比值。例如，学生中男生的比值，广告的点击率等。

比率检验用于检测总体比率是否与预期的假设一致。

比率检验可以分为如下两类:

1. 单总体比率检验
2. 双总体比率检验

关于比率检验，说明如下 :

1. 比率检验的原假设为等值假设，备择假设为不等值假设(双边检验)
2. 样本比率服从二项分布。当满足一定条件时，二项分布近似于正态分布
3. 比率检验通过构造Z统计量来实现

### 单总体比率检验

前提条件：

1. 样本容量充分大（n>30）
2. np≥5
3. n(1-p)≥5

案例：A公司计划提高广告转化率，于是，公司老板聘请高级设计师小马，来对广告页面进行优化，进而提高转化率。小马设计完毕后，信誓旦旦立下军令状，扬言将广告页面转化率提升到10%。一周之后，公司对小马的业绩进行考核，广告点击500次，转换用户45人。小马是否能算完成任务了呢？

    import numpy as np
    from scipy import stats
    p = 45 / 500  # 样本比率
    pi_0 = 0.1  # 总体比率
    n = 500  # 样本容量
    Z = (p - pi_0) / np.sqrt(pi_0 * (1 - pi_0) / n)  # 计算Z统计量
    print("Z统计量", Z)
    P = stats.norm.cdf(Z)
    print("P-Value：", P)

P>0.05，维持原假设，没有充分的理由证明小马没有完成任务。

### 双总体比率检验

前提条件：

1. n1p1≥5
2. n1(1-p1)≥5
3. n2p2≥5
4. n2(1-p2)≥5

案例：A公司采用两种方式来对自己的训练营进行推广，A方式成本较低但转化率也较低，B方式成本较高但转化率也较高。现A公司领导对两种推广方式进行评估，本着降低成本的原则，现决定：除非B方式比A方式转化率高2%以上，才采用B方式，否则采用A方式。现分别采用两种推广方式进行测试，A方式引进流量1052人，转化13人，B方式引进流量402人，转化10人，请问A公司应该采用哪种方式来推广训练营？

原假设：pl-p2≤0.02(B方式p1没有比A方式p2转化率多2%以上)
备择假设：p1-p2>0.02(B方式比A方式转化率多2%以上)

    ## 样本比率
    p1 = 10 / 402
    p2 = 13 / 1052
    定义比率的差值
    d0 = 0.02
    定义样本容量
    n1 = 402
    n2 = 1052
    计算分母部分
    denominator = np.sqrt((p1 * (1 - p1) / n1) + (p2 * (1 - p2) / n2))
    Z = (p1 - p2 - d0) / denominator
    print("Z统计量：", Z)
    P = stats.norm.sf(Z)
    print("P-Value：", P)

P>0.05，维持原假设，没有充分的理由证明B方式比A方式转化率多2%以上，所以还是用A方式省钱。

## 方差分析

方差分析(ANOVA-Analysis of Variance)，用于检测多个总体的均值是否相同(存在差异)。

方差分析可以分为两类:

1. 单因素方差分析
2. 多因素方差分析

关于方差分析，说明如下：

1. 方差分析原假设为多个总体的均值相同，备择假设为至少两个总体的均值不同
2. 方差分析通过构造F统计量来实现
3. F统计量服从F分布

### 单因素方差分析

单因素方差分析用来分析两个或多个样本(来自不同总体)的均值是否相等，进而可以用来检验分类变量与连续变量之间是否相关。检验方式为，根据分类变量的不同取值，将样本进行分组，然后根据每个分组的均值进行检验。

单因素方差分析的前提条件如下:

1. 样本观测值之间独立
2. 每个样本来自正态分布的总体
3. 总体之间的方差是相同的

案例：某公司领导在年终对部门进行评估，在一年内，A，B与C三个部门共收到投诉如下：
部门投诉量A5B3B4C6A2
假设投诉量服从正态分布，请问三个部门的投诉量是否相同？

    np.random.seed(0)
    模拟随机生成3个部门的投诉数据
    department_a = np.random.randint(5, 20, size=45)
    department_b = np.random.randint(3, 15, size=60)
    department_c = np.random.randint(7, 18, size=55)
    进行levene检验，判断3个组的方差是否齐性
    stats.levene(department_a, department_b, department_c)  # pvalue=0.42，说明方差相同
    进行单因素方差分析
    stats.f_oneway(department_a, department_b, department_c)

P<0.05，拒绝原假设，说明至少两个总体的均值不同，意味着这3个部门的投诉量是不一样的。

## 线性回归

回归分析是用来评估变量之间关系的统计过程。用来解释自变量X与因变量Y的关系。即当自变量X发生改变时，因变量Y会如何发生改变。

### 简单线性回归

这里以房屋面积(x)与房屋价格(y)为例，显而易见，二者是一种线性关系，房屋价格正比于房屋面积，我
们假设比例为w：ŷ = w * x + b。

    import numpy as np
    import matplotlib.pyplot as plt
    from sklearn.linear_model import LinearRegression
    用来切分训练集与测试集
    from sklearn.model_selection import train_test_split
    from sklearn.datasets import load_iris
    设置输出的精度，默认为8
    np.set_printoptions(precision=2)
    plt.rcParams["font.family"] = "SimHei"
    plt.rcParams["font.size"] = 12
    plt.rcParams["axes.unicode_minus"] = False
    iris = load_iris()
    花瓣长度作为x，宽度作为y
    x, y = iris.data[:, 2].reshape(-1, 1), iris.data[:, 3]
    lr = LinearRegression()
    将数据集划分为训练集与测试集
    test_size：测试集大小
    random_state：随机种子
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25, random_state=0)
    使用训练集训练模型
    lr.fit(x_train, y_train)
    print("权重：", lr.coef_)
    print("截距：", lr.intercept_)
    从训练集学习得到模型的参数（w与b），确定方程，就可以进行预测
    y_hat = lr.predict(x_test)
    print("实际值：", y_test[:5])
    print("预测值：", y_hat[:5])
    plt.figure(figsize=(10, 6))
    plt.scatter(x_train, y_train, c="orange", label="训练集")  # 散点图
    plt.scatter(x_test, y_test, c="g", marker="D", label="测试集")
    plt.plot(x, lr.predict(x), "r-")
    plt.legend()
    plt.xlabel("花瓣长度")
    plt.ylabel("花瓣宽度")
    plt.figure(figsize=(15, 6))
    plt.plot(y_test, label="真实值", color="r", marker="o")
    plt.plot(y_hat, label="预测值", ls="--", color="g", marker="o")
    plt.xlabel("测试集数据序号")
    plt.ylabel("数据值")
    plt.legend()

### 回归模型评估

当我们建立好模型后，模型的效果如何呢？对于回归模型，可以采用如下的指标来进行衡量：

- MSE
- RMSE
- MAE
- R^2

#### R^2

R^2为决定系数，用来表示模型拟合性的分值，值越高表示模型拟合性越好，在训练集中取值范围为[0,1]。在测试集(未知数据)中取值范围为(-∞,1]。

    from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score
    print("均方误差（MSE）：", mean_squared_error(y_test, y_hat))
    print("根均方误差（RMSE）：", np.sqrt(mean_squared_error(y_test, y_hat)))
    print("平均绝对值误差（MAE）：", mean_absolute_error(y_test, y_hat))
    print("训练集R^2：", r2_score(y_train, lr.predict(x_train)))
    print("测试集R^2：", r2_score(y_test, y_hat))
    score求解的就是R^2的值
    print("训练集R^2：", lr.score(x_train, y_train))
    print("测试集R^2：", lr.score(x_test, y_test))

### 多元线性回归

现实中的数据可能是比较复杂的，自变量也很可能不只一个。例如，影响房屋价格也很可能不只房屋面积一个因素，可能还有距地铁距离，距市中心距离，房间数量，房屋所在层数，房屋建筑年代等诸多因素。不过，这些因素，对房屋价格影响的力度(权重)是不同的，例如，房屋所在层数对房屋价格的影响就远不及房屋面积，因此，我们可以使用多个权重来表示多个因素与房屋价格的关系：

ŷ = w1 * x1 + w2 * x2 + w3 * x3 + ··· + wn * xn + b

    data_url = "http://lib.stat.cmu.edu/datasets/boston"
    raw_df = pd.read_csv(data_url, sep="s+", skiprows=22, header=None)
    data = np.hstack([raw_df.values[::2, :], raw_df.values[1::2, :2]])
    target = raw_df.values[1::2, 2]
    x, y = data, target
    df = pd.DataFrame(np.concatenate([x, y.reshape(-1, 1)], axis=1), columns=["CRIM", "ZN", "INDUS", "CHAS", "NOX", "RM", "AGE", "DIS", "RAD", "TAX", "PTRATIO", "B", "LSTAT", "MEDV"])
    df.head()
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25, random_state=0)
    使用训练集训练模型
    lr.fit(x_train, y_train)
    print("权重：", lr.coef_)
    print("截距：", lr.intercept_)
    y_hat = lr.predict(x_test)
    print("训练集R^2：", lr.score(x_train, y_train))
    print("测试集R^2：", lr.score(x_test, y_test))


Python数据分析（比率检验、方差分析、线性回归）

OpenPyXL、XlsxWriter、pyxlsb、xlrd 和 xlwt：它们都是可以用来读写Excel文件的包，在调用pandas的read_excel函数和to_excel函数时，这些包就在背后完成相应的工作。

如果同时安装了OpenPyXL和XlsxWriter，那么pandas默认使用XlsxWriter。如果你想亲自选择pandas所使用的包，则可以在read_excel或to_excel，以及ExcelFile或ExcelWriter的engine参数中指定所选包。

如果要用OpenPyXL而不是XlsxWriter来写文件，则需要执行如下代码：

    df.to_excel("filename.xlsx", engine="openpyxl")

## 文本文件

    df = pd.DataFrame(
        {
            "color": ["red", "blue", "yellow", "blue"],
            "price": [1, 3, 5, 6],
        }
    )
    df.to_csv("data.csv")  # 保存到csv
    df = pd.read_csv("data.csv", index_col=0)  # 加载csv

参数sep指定分隔符，默认是逗号，sep='t'指定分隔符为制表符分隔tab。pd.read_table()默认分隔符是制表符分隔tab。

### 列、索引、名称

    pd.read_csv('data.csv', header=None)  # 没有表头
    pd.read_csv('data.csv', names=['列1', '列2', '列3'])  # 指定列名
    pd.read_csv('data.csv', prefix='c_', header=None)  # 如没列名，自动指定一个：前缀加序数
    pd.read_csv('data.csv', usecols=[0,2])  # 按列索引读取指定列，['col1', 'col3']按列名称读取指定列
    pd.read_csv('data.csv', index_col=2)  # 第3列是行索引

### 数据类型

    import numpy as np
    pd.read_csv('data.csv', dtype=str)  # 所有数据均为此数据类型
    pd.read_csv('data.csv', dtype={'col1':str, 'col3':np.float16})  # 指定字段类型

## Excel文件

pandas模块读取Excel文件，可能需要安装openpyxl库依赖：`pip install openpyxl`。

### to_excel()

    df = pd.DataFrame(
        {
            "color": ["red", "blue", "yellow", "blue"],
            "price": [1, 3, 5, 6],
        }
    )
    df.to_excel("data.xlsx", index=False)  # 保存到excel文件
    df = pd.read_excel("data.xlsx")  # 加载csv

参数描述na_rep 和inf_rep在默认情况下，np.nan 会被转换为空单元格，而 NumPy 用来表示无穷的 np.inf 会被转换为字符串 inf。利用这两个参数可以修改默认行为freeze_panes通过提供一个元组来冻结前几行和前几列，比如 (2, 1) 会冻结前两行和第一列
### read_excel()
参数描述names提供列名称列表na_values在默认情况下，pandas 会将这些值解释为NaN：空单元格、#NA、NA、null、#N/A、N/A、NaN、n/a、-NaN、1.#IND、 nan、 #N/A N/A、 -1.#QNAN、-nan、NULL、-1.#IND、 和1.#QNAN。如果需要往这些值中添加一个或多个值，则可以通 过na_values 来提供keep_default_na如果希望忽略 pandas 默认解释为 NaN 的值，可将参数设置为keep_default_na=Falseconvert_float在默认情况下，Excel 会在内部将所有数字都以浮点型保存，pandas 会将带有无意义 的小数点的数字转换为整数。如果想改变这种行为，则可以将参数设置为convert_ float=False（可能会获得少许性能提升）converters可以为各列提供一个函数来转换其中的值。如果要将某一列中的文本转换为大写，则 可以将参数设置为：converters={"column_name": lambda x: x.upper()}
### ExcelFile 类

如果想从旧式的 xls 文件中读取多张工作表，ExcelFile 就会发挥作用。在这种情况下，ExcelFile 可防止pandas 多次读取整个文件，从而获得较快的速度。

    with pd.ExcelFile("stores.xls") as f:
        df1 = pd.read_excel(f, "2019", skiprows=1, usecols="B:F", nrows=2)
        df2 = pd.read_excel(f, "2020", skiprows=1, usecols="B:F", nrows=2)

也可以通过 ExcelFile 访问所有工作表的名称：

    stores = pd.ExcelFile("stores.xlsx")
    stores.sheet_names

## MySQL数据库

    import pandas as pd
    import numpy as np
    from sqlalchemy import create_engine, text
    from config import DB_URI
    data = np.random.randint(0, 100, size=(5, 3))
    df = pd.DataFrame(data, columns=["A", "B", "C"])
    conn = create_engine(DB_URI)  # 先连接MySQL
    保存到MySQL
    df.to_sql(
    name="score",  # 表名
    con=conn,  # 数据库连接对象
    index=False,  # 不保存行索引
    if_exists="append",  # 如果表存在，则追加数据
    )
    从MySQL中加载数据
    df = pd.read_sql(
    sql=text("select * from score"),
    con=conn.connect(),
    )


Python数据分析模块pandas之数据加载

这里是 aboss.top 的自留地。写了十几年野路子代码，攒了些摸爬滚打的经验，做成系列课程慢慢讲；也留了一小块地方，记记代码之外的胡思乱想。