比率检验
总体比率指具有某种特征的个体所占有的比值。例如,学生中男生的比值,广告的点击率等。
比率检验用于检测总体比率是否与预期的假设一致。
比率检验可以分为如下两类:
- 单总体比率检验
- 双总体比率检验
关于比率检验,说明如下 :
- 比率检验的原假设为等值假设,备择假设为不等值假设(双边检验)
- 样本比率服从二项分布。当满足一定条件时,二项分布近似于正态分布
- 比率检验通过构造Z统计量来实现
单总体比率检验
前提条件:
- 样本容量充分大(n>30)
- np≥5
- n(1-p)≥5
案例:A公司计划提高广告转化率,于是,公司老板聘请高级设计师小马,来对广告页面进行优化,进而提高转化率。小马设计完毕后,信誓旦旦立下军令状,扬言将广告页面转化率提升到10%。一周之后,公司对小马的业绩进行考核,广告点击500次,转换用户45人。小马是否能算完成任务了呢?
import numpy as np
from scipy import stats
p = 45 / 500 # 样本比率
pi_0 = 0.1 # 总体比率
n = 500 # 样本容量
Z = (p - pi_0) / np.sqrt(pi_0 * (1 - pi_0) / n) # 计算Z统计量
print("Z统计量", Z)
P = stats.norm.cdf(Z)
print("P-Value:", P)
P>0.05,维持原假设,没有充分的理由证明小马没有完成任务。
双总体比率检验
前提条件:
- n1p1≥5
- n1(1-p1)≥5
- n2p2≥5
- n2(1-p2)≥5
案例:A公司采用两种方式来对自己的训练营进行推广,A方式成本较低但转化率也较低,B方式成本较高但转化率也较高。现A公司领导对两种推广方式进行评估,本着降低成本的原则,现决定:除非B方式比A方式转化率高2%以上,才采用B方式,否则采用A方式。现分别采用两种推广方式进行测试,A方式引进流量1052人,转化13人,B方式引进流量402人,转化10人,请问A公司应该采用哪种方式来推广训练营?
原假设:pl-p2≤0.02(B方式p1没有比A方式p2转化率多2%以上)
备择假设:p1-p2>0.02(B方式比A方式转化率多2%以上)
## 样本比率
p1 = 10 / 402
p2 = 13 / 1052
## 定义比率的差值
d0 = 0.02
## 定义样本容量
n1 = 402
n2 = 1052
## 计算分母部分
denominator = np.sqrt((p1 * (1 - p1) / n1) + (p2 * (1 - p2) / n2))
Z = (p1 - p2 - d0) / denominator
print("Z统计量:", Z)
P = stats.norm.sf(Z)
print("P-Value:", P)
P>0.05,维持原假设,没有充分的理由证明B方式比A方式转化率多2%以上,所以还是用A方式省钱。
方差分析
方差分析(ANOVA-Analysis of Variance),用于检测多个总体的均值是否相同(存在差异)。
方差分析可以分为两类:
- 单因素方差分析
- 多因素方差分析
关于方差分析,说明如下:
- 方差分析原假设为多个总体的均值相同,备择假设为至少两个总体的均值不同
- 方差分析通过构造F统计量来实现
- F统计量服从F分布
单因素方差分析
单因素方差分析用来分析两个或多个样本(来自不同总体)的均值是否相等,进而可以用来检验分类变量与连续变量之间是否相关。检验方式为,根据分类变量的不同取值,将样本进行分组,然后根据每个分组的均值进行检验。
单因素方差分析的前提条件如下:
- 样本观测值之间独立
- 每个样本来自正态分布的总体
- 总体之间的方差是相同的
案例:某公司领导在年终对部门进行评估,在一年内,A,B与C三个部门共收到投诉如下:
部门 | 投诉量 |
---|---|
A | 5 |
B | 3 |
B | 4 |
C | 6 |
A | 2 |
假设投诉量服从正态分布,请问三个部门的投诉量是否相同?
np.random.seed(0)
## 模拟随机生成3个部门的投诉数据
department_a = np.random.randint(5, 20, size=45)
department_b = np.random.randint(3, 15, size=60)
department_c = np.random.randint(7, 18, size=55)
## 进行levene检验,判断3个组的方差是否齐性
stats.levene(department_a, department_b, department_c) # pvalue=0.42,说明方差相同
## 进行单因素方差分析
stats.f_oneway(department_a, department_b, department_c)
P<0.05,拒绝原假设,说明至少两个总体的均值不同,意味着这3个部门的投诉量是不一样的。
线性回归
回归分析是用来评估变量之间关系的统计过程。用来解释自变量X与因变量Y的关系。即当自变量X发生改变时,因变量Y会如何发生改变。
简单线性回归
这里以房屋面积(x)与房屋价格(y)为例,显而易见,二者是一种线性关系,房屋价格正比于房屋面积,我
们假设比例为w:ŷ = w * x + b。
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
## 用来切分训练集与测试集
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
## 设置输出的精度,默认为8
np.set_printoptions(precision=2)
plt.rcParams["font.family"] = "SimHei"
plt.rcParams["font.size"] = 12
plt.rcParams["axes.unicode_minus"] = False
iris = load_iris()
## 花瓣长度作为x,宽度作为y
x, y = iris.data[:, 2].reshape(-1, 1), iris.data[:, 3]
lr = LinearRegression()
## 将数据集划分为训练集与测试集
## test_size:测试集大小
## random_state:随机种子
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25, random_state=0)
## 使用训练集训练模型
lr.fit(x_train, y_train)
print("权重:", lr.coef_)
print("截距:", lr.intercept_)
## 从训练集学习得到模型的参数(w与b),确定方程,就可以进行预测
y_hat = lr.predict(x_test)
print("实际值:", y_test[:5])
print("预测值:", y_hat[:5])
plt.figure(figsize=(10, 6))
plt.scatter(x_train, y_train, c="orange", label="训练集") # 散点图
plt.scatter(x_test, y_test, c="g", marker="D", label="测试集")
plt.plot(x, lr.predict(x), "r-")
plt.legend()
plt.xlabel("花瓣长度")
plt.ylabel("花瓣宽度")
plt.figure(figsize=(15, 6))
plt.plot(y_test, label="真实值", color="r", marker="o")
plt.plot(y_hat, label="预测值", ls="--", color="g", marker="o")
plt.xlabel("测试集数据序号")
plt.ylabel("数据值")
plt.legend()
回归模型评估
当我们建立好模型后,模型的效果如何呢?对于回归模型,可以采用如下的指标来进行衡量:
- MSE
- RMSE
- MAE
- R^2
R^2
R^2为决定系数,用来表示模型拟合性的分值,值越高表示模型拟合性越好,在训练集中取值范围为[0,1]。在测试集(未知数据)中取值范围为(-∞,1]。
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score
print("均方误差(MSE):", mean_squared_error(y_test, y_hat))
print("根均方误差(RMSE):", np.sqrt(mean_squared_error(y_test, y_hat)))
print("平均绝对值误差(MAE):", mean_absolute_error(y_test, y_hat))
print("训练集R^2:", r2_score(y_train, lr.predict(x_train)))
print("测试集R^2:", r2_score(y_test, y_hat))
## score求解的就是R^2的值
print("训练集R^2:", lr.score(x_train, y_train))
print("测试集R^2:", lr.score(x_test, y_test))
多元线性回归
现实中的数据可能是比较复杂的,自变量也很可能不只一个。例如,影响房屋价格也很可能不只房屋面积一个因素,可能还有距地铁距离,距市中心距离,房间数量,房屋所在层数,房屋建筑年代等诸多因素。不过,这些因素,对房屋价格影响的力度(权重)是不同的,例如,房屋所在层数对房屋价格的影响就远不及房屋面积,因此,我们可以使用多个权重来表示多个因素与房屋价格的关系:
ŷ = w1 x1 + w2 x2 + w3 x3 + ··· + wn xn + b
data_url = "http://lib.stat.cmu.edu/datasets/boston"
raw_df = pd.read_csv(data_url, sep="s+", skiprows=22, header=None)
data = np.hstack([raw_df.values[::2, :], raw_df.values[1::2, :2]])
target = raw_df.values[1::2, 2]
x, y = data, target
df = pd.DataFrame(np.concatenate([x, y.reshape(-1, 1)], axis=1), columns=["CRIM", "ZN", "INDUS", "CHAS", "NOX", "RM", "AGE", "DIS", "RAD", "TAX", "PTRATIO", "B", "LSTAT", "MEDV"])
df.head()
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25, random_state=0)
## 使用训练集训练模型
lr.fit(x_train, y_train)
print("权重:", lr.coef_)
print("截距:", lr.intercept_)
y_hat = lr.predict(x_test)
print("训练集R^2:", lr.score(x_train, y_train))
print("测试集R^2:", lr.score(x_test, y_test))