假设检验的Python实现

camash 2020-01-11 我要评论

结合假设检验的理论知识，本文使用Python对实际数据进行假设检验。

导入测试数据

从线上下载测试数据文件，数据链接：http://pan.baidu.com/s/1t4SKF6U2yyjT365FaE692A*
数据字段说明：

gender：性别，1为男性，2为女性
Temperature:体温
HeartRate：心率

下载后，使用pandas的read_csv函数导入数据。

import numpy as np
import pandas as pd
from scipy import stats

test_df = pd.read_csv('test.csv')

问题清单

针对此测试数据，提出以下问题：

人体体温的总体均值是否为98.6华氏度？
人体的温度是否服从正态分布?
人体体温中存在的异常数据是哪些？
男女体温是否存在明显差异？
体温与心率间的相关性(强？弱？中等?)

解题步骤

1. 体温的总体均值是否为98.6华氏度？

解法1：
此问题可以转化为假设检验问题，可以假设：
$H_0: \mu = 96.8 $
$H_1: \mu \neq 96.8 $

这是一个双侧检测问题，所以只要$\mu>\mu_0$或$\mu<\mu_0$二者之中有一个成立，就可以拒绝原假设。

根据人大《统计学》第7版p163：

在样本量大的条件下，如果总体为正态分布，则样本统计量服从正态分布；如果总体为非正态分布，则样本统计量渐近服从正态分布。在这些情况下，我们都可以把样本统计量视为正态分布，这时可以使用$z$统计量。

本题中，总体标准差$\sigma$未知，可以用样本标准差$s$代替。

## 计算Z统计量
mu = 96.8
temp = test_df['Temperature']
# 样本均值
sample_mean = np.mean(temp)

# 样本方差
sample_std = np.std(temp, ddof=1)
# 样本个数
sample_size = temp.size

z = (sample_mean-mu)/(sample_std/np.sqrt(sample_size))
print(z)
22.537033076347175

按照双侧检验的原理，在显著性水平$\alpha=0.05$情况下
$z_{\frac{\alpha}{2}}=\pm 1.96$
因为$|z|>|z_{\frac{\alpha}{2}}|$，所以拒绝原假设，人体体温的总体均值不是98.6华氏度。

解法2：
可以直接使用statsmodels包的statsmodels.stats.weightstats.ztest函数直接执行计算，http://www.statsmodels.org/stable/generated/statsmodels.stats.weightstats.ztest.html
用法如下：

statsmodels.stats.weightstats.ztest(x1, x2=None, value=0, alternative='two-sided', usevar='pooled', ddof=1.0)[source]

2. 人体的温度是否服从正态分布?

解法：

参考Python验证数据的抽样分布类型，先画出分布的直方图，然后使用scipy.stat.kstest函数进行判断。

%matplotlib inline
import seaborn as sns
sns.distplot(temp, color='b', bins=10, kde=True)

简单从图形看，大于99.3之后的数据分布极少。初步认为不符合正态分布。

然后使用kstest验证。

In: stats.kstest(temp, 'norm')
Out: KstestResult(statistic=1.0, pvalue=0.0)

可以发现pvalue<0.05，即认为体温不符合正态分布。

判断是否服从t分布:

In: np.random.seed(1)
    ks = stats.t.fit(temp)
    df = ks[0]
    loc = ks[1]
    scale = ks[2]
    t_estm = stats.t.rvs(df=df, loc=loc, scale=scale, size=sample_size)
    stats.ks_2samp(temp, t_estm)
Out: Ks_2sampResult(statistic=0.11538461538461536, pvalue=0.33281734591562734)

此处的思路是先用t分布拟合区域收入均值，然后使用ks_2samp函数比较区域收入均值和t分布的随机变量。因为pvalue大于0.05，认为该数据集服从t分布。

判断是否服从卡方分布:

In: np.random.seed(1)
    chi_square = stats.chi2.fit(temp)
    df = chi_square[0]
    loc = chi_square[1]
    scale = chi_square[2]
    chi_estm = stats.chi2.rvs(df=df, loc=loc, scale=scale, size=sample_size)
    stats.ks_2samp(temp, chi_estm)
Out: Ks_2sampResult(statistic=0.07692307692307687, pvalue=0.8215795712396048)

pvalue为0.82，说明体温数据更服从卡方分布。可以使用以下方式，画出拟合的卡方分布和测试数据的对比图。

from matplotlib import pyplot as plt
plt.figure()
temp.plot(kind = 'kde')
chi2_distribution = stats.chi2(chi_square[0], chi_square[1],chi_square[2])
x = np.linspace(chi2_distribution.ppf(0.01), chi2_distribution.ppf(0.99), 100)
plt.plot(x, chi2_distribution.pdf(x), c='orange')
plt.xlabel('Human temperature')
plt.title('temperature on chi_square', size=20)
plt.legend(['test_data', 'chi_square'])

3. 人体体温中存在的异常数据是哪些？

解法：

已知体温数据服从卡方分布的情况下，可以直接使用Python计算出P=0.025和P=0.925时的分布值，在分布值两侧的数据属于小概率，认为是异常值。

In: chi2_distribution.ppf(0.025)
Out:97.0690523831819
In: chi2_distribution.ppf(0.925)
Out:99.332801136025
In: temp[temp<97.069]
Out:0     96.3
    1     96.7
    2     96.9
    3     97.0
    65    96.4
    66    96.7
    67    96.8
    Name: Temperature, dtype: float64
In: temp[temp>99.332]
    63      99.4
    64      99.5
    126     99.4
    127     99.9
    128    100.0
    129    100.8
    Name: Temperature, dtype: float64

4. 男女体温是否存在明显差异？

解法：

此题是一道两个总体均值之差的假设检验问题，因为是否存在差别并不涉及方向，所以是双侧检验。建立原假设和备择假设如下：

$H_0: \mu_1 - \mu_2 = 0$ 没有显著差别

$H_1: \mu_1 - \mu_2 \ne 0$ 有显著差别

由于$\sigma_1^2$,$\sigma_2^2$未知，也无法断定$\sigma_1^2=\sigma_2^2$是否成立，且$n_1$,$n_2$的数量为65。

In: test_df.groupby(['Gender']).size()
Out:Gender
    1    65
    2    65
    dtype: int64

在此样本量情况，抽样分布近似服从自由度为f的t分布，其中f为：
$$
f=\frac{(\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2})^2}{\frac{(\frac{s_1^2}{n_1})^2}{n_1-1}+\frac{(\frac{s_2^2}{n_2})^2}{n_2-1}}
$$
检验统计量t的计算公式为：
$$
t = \frac{(\bar{x_1}-\bar{x_2})-(\mu_1-\mu_2)}{\sqrt{\frac{s_1^2}{n_1}+\frac{s_2^2}{n2}}}
$$

male_df = test_df.loc[test_df['Gender'] == 1]
female_df = test_df.loc[test_df['Gender'] == 2]

方法一：构建统计量计算函数

def cal_f(a, b):
     n_1 = len(a)
     n_2 = len(b)
     mean_1 = a.mean()
     mean_2 = b.mean()
     std_1 = a.std()
     std_2 = b.std()

     s_1 = std_1**2/n_1
     s_2 = std_2**2/n_2
     f = (s_1 + s_2)**2 / (s_1**2/(n_1 - 1) + s_2**2/(n_2 -1))
     print('degree of freedom=%.3f', % f)

     t = (mean_1 - mean_2)/np.sqrt(s_1 + s_2)
     
     # 计算边界值，设置显著性水平为0.05，双侧检验，取边界值为0.025
     v = stats.t.ppf(0.025, f)

     print('stat=%.3f, boudary=%.3f' % (t, v))

     if abs(t)>abs(v):
       print("拒绝原假设，男女体温存在明显差异。")
     else:
       print("不能拒绝原假设，男女体温无明显差异。")

调用自定义函数

In: cal_f(male_df['Temperature'],female_df['Temperature'])
Out:degree of freedom=127.510
    stat=-2.285, boudary=-1.979
    拒绝原假设，男女体温存在明显差异。

方法2，使用ttest_ind函数1

stats.t.ppf(0.025, 127.51)
stat, p = stats.ttest_ind(male_df['Temperature'],female_df['Temperature'])
print('stat=%.3f, p=%.3f' % (stat, p))
if p > 0.05:
    print('不能拒绝原假设，男女体温无明显差异。')
else:
    print('拒绝原假设，男女体温存在明显差异。')
    
Out：
stat=-2.285, p=0.024
拒绝原假设，男女体温存在明显差异。

注意：此函数计算得出的p值为双侧概率的累加，所以直接与显著性水平0.05进行比较。可以用以下方式证明是双侧概率：

# 将方法1中的统计值代入t分布的概率分布
In: stats.t.cdf(stat, 127.51)
Out:0.011969134059074056

上述结果正好是双侧概率的一半。

5. 体温与心率间的相关性

可以使用皮尔逊相关性系数2检验两组数据之间的关系。在处理前，可以先用散点图展示下两者在二维空间上的分布。

heartrate_s = test_df['HeartRate']
temperature_s = test_df['Temperature']
from matplotlib import pyplot as plt
plt.scatter(heartrate_s, temperature_s)

计算皮尔逊相关系数3：

In: stat, p = stats.pearsonr(heartrate_s, temperature_s)
    print('stat=%.3f, p=%.3f' % (stat, p))
Out:stat=0.254, p=0.004

已知皮尔逊相关系数为0，数据无相关性，而大于0表示有正相关性，当为1时完全正相关。因为结果为0.004，体温和心率之间可以认为基本无相关性。从图形上也可以发现四散分布，缺乏相关性。

参考资料

欢迎扫描二维码进行关注