统计检验方法能够帮助验证模型的性能差异是否具备统计显著性，避免结果偶然。通过这些方法，可以确保实验结果具有可重复性和稳健性，从而支持科学结论的有效性。此外，统计检验还可以帮助发现不同模型、特征或算法改进的真实影响，避免误导性优化。
一起来看下细节~
t检验是用于比较两个样本均值的假设检验方法，假设数据服从正态分布。它包括单样本t检验、独立样本t检验和配对样本t检验。
t检验基于样本均值与总体均值的差异，考虑了样本标准误的影响。其关键思想是，如果两个样本均值的差异在合理范围内，则认为它们来自相同的总体，否则就认为它们有显著差异。
独立样本t检验的统计量为：
假设两个独立样本来自相同的总体。根据中心极限定理，样本均值近似服从正态分布。假设样本方差未知，我们使用样本方差代替总体方差进行估计。
1.均值的差异：样本均值的差异为。
2.标准误的计算：对于两个样本均值的标准误，公式为
3.t值计算：将均值差异除以标准误，得到t值：
4.t分布：通过计算得到的t值，可以根据t分布表来确定p值，p值反映了均值差异的显著性。
5.自由度：t分布的自由度为。
如果计算出的t值超过临界值，则拒绝零假设，即认为两个样本的均值显著不同。
假设我们想检验一种新的教学方法是否比传统方法更有效。在这个实验中，我们有两个独立的学生组：一个组使用传统教学方法，另一个组使用新的教学方法。我们想比较这两组学生在最终考试中的平均成绩，以确定新的教学方法是否有显著提高学生的成绩。
数据集描述：
我们将使用两个样本的独立t检验来比较这两个组的平均成绩，假设新方法能提高学生的平均分数。
卡方检验用于判断两个分类变量之间是否存在统计显著的关系。常用于频数数据或分类数据的独立性检验和拟合优度检验。
卡方检验通过比较观测值与期望值，衡量分类变量的独立性。如果实际观测值与期望值的差异很大，则认为变量之间存在关联。
卡方统计量的计算公式为：
1.零假设：假设分类变量是独立的。
2.期望频数的计算：期望频数的计算为：
3.差异计算：计算每个单元格的观测频数和期望频数的差异平方。
4.归一化差异：用期望频数归一化差异，计算卡方统计量。
5.卡方分布：最终的卡方统计量服从卡方分布，其自由度为，其中是行数，是列数。
通过查卡方分布表，若卡方统计量超出临界值，则拒绝零假设，认为两个变量不独立。
有一组虚拟数据集，包含两个分类变量：产品类型（A,B,C）和客户满意度（高,中,低）。我们想检验产品类型与客户满意度是否存在显著的关联。
这些数据分析图形综合展示了分类变量的频数分布、期望与实际值的差异，以及两者的关联性。
方差分析用于比较三个或更多样本的均值差异，常用于多组数据的比较。单因素ANOVA用于单一因子对响应变量的影响分析。
ANOVA通过比较组间方差和组内方差，判断组间的均值差异是否显著。组间方差大，说明不同组之间差异显著；组内方差反映了组内个体之间的波动。
单因素方差分析的F值为：
1.零假设：假设所有组的均值相等，即。
2.组间平方和（SSB）：计算各组均值和总体均值的偏差平方：
3.组内平方和（SSW）：计算组内数据和各组均值的偏差平方：
4.均方计算：组间均方（MSB）和组内均方（MSW）分别为组间平方和和组内平方和除以自由度：
5.F值计算：F统计量为组间均方与组内均方的比值：
6.F分布：F统计量服从分布，通过查表判断是否拒绝零假设。
使用ANOVA来检验不同教学方法的平均成绩是否存在显著差异。为此，我们将生成虚拟数据，并通过可视化展示数据和结果。
Mann-WhitneyU检验是一种非参数检验，用于比较两个独立样本的中位数差异。它不要求数据服从正态分布，是t检验的非参数替代方法。
该方法基于样本秩的比较，如果两个样本来自同一总体，两个样本的秩序统计量应该混合分布。如果存在中位数差异，则高秩数据偏向某个样本。
Mann-WhitneyU检验的U值公式为：
1.秩赋值：将两个样本数据合并，按大小为它们赋予秩（小值秩小）。
2.秩和计算：计算样本1和样本2的秩和。
3.U值计算：
两个不同的疗法（治疗A和治疗B），用于治疗患者的慢性疼痛。每个疗法的样本量为50人，并测量了在疗法应用后每个患者的疼痛评分。因为数据不是正态分布的，所以我们选择了非参数检验中的Mann-WhitneyU检验来比较这两种疗法的疗效是否有显著差异。
这些数据分析图形能够从多个角度验证治疗A和治疗B的疼痛评分是否存在显著差异，结合Mann-WhitneyU检验的结果，得出统计结论。
Kolmogorov-Smirnov检验用于比较两个分布的差异，或检验样本是否来自某个已知分布。K-S检验常用于正态性检验。
K-S检验基于两个累积分布函数（CDF）之间的最大差异。通过比较样本分布的累积分布函数和理论分布的累积分布函数，计算最大差异值。
K-S检验统计量为：
1.累积分布函数计算：对于每个样本，计算样本的经验累积分布函数（ECDF）。
2.最大差异计算：在每个数据点上，计算两个累积分布函数之间的绝对差值，并找到其最大值。
3.查表：通过查Kolmogorov分布表，判断值是否显著。
生成两个虚拟数据集，一个是正态分布，另一个是指数分布，目的是使用K-S检验来判断它们的分布是否显著不同。
虚拟数据生成：data_norm是从正态分布生成的数据集，均值为0，标准差为1。data_expon是从指数分布生成的数据集，参数λ=1。
该检验根据两个样本之间的差异值，对差异值进行排序并赋予秩值，判断正负差异是否显著不同。
Wilcoxon符号秩检验的统计量为：
1.差异计算：对于配对样本，计算每对样本的差异值。
2.秩赋值：将差异值按绝对值排序，赋予秩值。
3.符号赋值：根据差异的符号，将正差异和负差异分别赋值。
4.统计量计算：计算正差异的秩和，并通过查表判断显著性。
假设我们有一组患者，在服用两种不同的药物治疗前后，我们记录了他们的体重变化。我们想使用Wilcoxon符号秩检验来比较两种药物对体重的影响是否有显著差异。
Kruskal-Wallis检验是一种非参数检验方法，用于比较三个或更多独立组的中位数差异，属于非参数方差分析（ANOVA）的扩展版本。它不要求数据服从正态分布，也不需要组间方差齐性假设。
Kruskal-Wallis检验通过比较样本的秩次，将所有样本的观测值排序并赋予秩次，然后比较不同组的秩和。如果各组的秩和差异显著，则认为这些组的中位数存在显著差异。
Kruskal-Wallis检验的统计量计算公式为：
1.秩排序：将所有样本的观测值（即第组的第个观测值）按大小排序，并赋予秩次。如果有相同的观测值，则平均赋秩。
2.计算秩和：每组数据的秩和计算为：
3.统计量计算：将每组的秩和代入公式，得到统计量。
4.检验结果：Kruskal-Wallis检验的统计量近似服从卡方分布，其自由度为，其中是组数。通过查卡方分布表，判断是否显著。如果超过临界值，则拒绝零假设，认为组间存在显著差异。
咱们使用虚拟数据集，通过绘制以下数据分析图来说明问题~
Fisher精确检验用于处理两个分类变量之间的独立性检验，特别适用于小样本数据或的列联表。它通过计算每种可能的样本排列概率，准确判断两个变量是否独立。
Fisher精确检验基于超几何分布，计算在列联表中，实际观察到的样本排列是否与假设的独立性一致。检验通过所有可能的排列概率之和，得出是否存在显著性差异。
Fisher精确检验的公式为：
1.列联表定义：给定的列联表：
2.超几何分布：假设行变量和列变量独立，则样本中的各元素服从超几何分布。列联表中的元素表示抽样结果，而超几何分布计算某个特定组合发生的概率。
3.组合数计算：Fisher精确检验通过计算所有可能的列联表配置，并基于每种配置的概率计算总体显著性。
4.p值计算：将所有更极端的组合概率相加，得到总的p值。如果p值小于显著性水平，则拒绝独立性假设。
假设我们想研究一个医院中不同年龄段（青年、中年、老年）患者是否在不同性别（男性、女性）之间的就诊频率有显著差异。
McNemar检验用于分析配对样本的分类变量，特别是比较两种处理结果在二分类变量上的差异。它常用于评估两种诊断方法或实验前后差异。
McNemar检验的统计量为：
1.列联表定义：对于配对样本数据，构造列联表：
2.检验差异：McNemar检验重点分析和的不对称性，表示样本在两个处理结果之间的不同变化。通过检验和的差异是否显著，判断处理是否有效。
3.统计量计算：计算McNemar统计量：
4.自由度与显著性：该统计量服从自由度为1的卡方分布。如果超过临界值，则认为两个处理结果有显著差异。
通过分析一个假设的二分类变量的变化（例如，测试前后某个治疗方法的效果），并展示数据的分布、变化情况及其统计结果。
通过McNemar检验，我们可以分析治疗前后状态的变化是否具有统计学显著性。图形化分析不仅可以直观呈现数据的分布情况，还可以帮助识别数据中的趋势和模式。
Cochran'sQ检验的统计量为：
1.列联表构造：针对每个样本的多个处理结果，构造的二分类矩阵，每个元素代表样本在处理下的响应。
2.总响应数计算：对于每个处理组，计算总响应数。
3.统计量计算：通过总响应数和样本的响应差异，计算Cochran'sQ统计量：
4.显著性检验：Q统计量服从自由度为的卡方分布，通过查表判断是否显著。如果超过临界值，则不同处理之间存在显著性差异。
假设我们有10个患者，他们接受了三种不同的治疗（药物A、药物B和药物C）。对于每个患者，我们记录了每种治疗是否成功（成功用1表示，失败用0表示）。我们想知道这三种治疗方法的成功率是否有显著差异。
通过这些图形和Cochran'sQ检验结果，我们可以得出对三种药物的成功率差异的结论。如果p值小于显著性水平（通常是0.05），则说明三种药物的成功率有显著差异。