1. 引言在 Python 数据分析生态中agate是一个轻量级、不可变的数据分析库专注于提供清晰、可读性强的 API。而agate-stats是 agate 的官方扩展包为 agate 表格数据增加了丰富的统计计算能力。本文将详细阐述 agate-stats 包的功能、安装方法、核心语法与参数并通过 8 个实际应用案例展示其用法最后总结常见错误与使用注意事项。2. agate-stats 包概述2.1 什么是 agate-statsagate-stats 是 agate 数据表格库的统计扩展模块。它提供了一系列统计方法包括描述性统计、相关性分析、假设检验、回归分析等让用户无需切换到 pandas 或 scipy 即可完成常见统计分析任务。2.2 核心功能描述性统计均值、中位数、众数、方差、标准差、偏度、峰度等相关性分析Pearson 相关系数、Spearman 秩相关系数假设检验t 检验、卡方检验、ANOVA 等回归分析线性回归、多项式回归分组统计按分组计算各类统计量滚动统计移动平均、移动标准差等3. 安装与配置3.1 安装 agate-statsagate-stats 可以通过 pip 直接安装pip install agate-stats安装完成后agate-stats 会自动注册为 agate 的扩展无需额外配置即可使用。3.2 依赖关系agate-stats 依赖以下核心库agate1.6.0基础数据表格库numpy数值计算支持scipy统计函数支持sixPython 2/3 兼容支持4. 核心语法与参数4.1 基本数据准备使用 agate-stats 前需要先创建 agate 表格对象import agate import agatestats 注册统计扩展 agatestats.install() 创建示例数据 data [ (张三, 25, 85.5, A), (李四, 30, 92.0, B), (王五, 28, 78.5, A), (赵六, 35, 88.0, B), (孙七, 22, 95.5, A), ] column_names [姓名, 年龄, 成绩, 班级] column_types [agate.Text(), agate.Number(), agate.Number(), agate.Text()] table agate.Table(data, column_names, column_types)4.2 描述性统计方法agate-stats 为表格的数值列提供了丰富的描述性统计方法# 均值 mean table.columns[成绩].mean() print(f成绩均值: {mean}) 中位数 median table.columns[成绩].median() print(f成绩中位数: {median}) 标准差 std table.columns[成绩].stdev() print(f成绩标准差: {std}) 方差 variance table.columns[成绩].variance() print(f成绩方差: {variance}) 偏度 skewness table.columns[成绩].skewness() print(f成绩偏度: {skewness}) 峰度 kurtosis table.columns[成绩].kurtosis() print(f成绩峰度: {kurtosis})4.3 相关性分析# Pearson 相关系数 pearson_r table.columns[年龄].pearson_correlation(table.columns[成绩]) print(f年龄与成绩的 Pearson 相关系数: {pearson_r}) Spearman 秩相关系数 spearman_rho table.columns[年龄].spearman_correlation(table.columns[成绩]) print(f年龄与成绩的 Spearman 相关系数: {spearman_rho})4.4 假设检验# 单样本 t 检验 t_stat, p_value table.columns[成绩].one_sample_t_test(80) print(ft 统计量: {t_stat}, p 值: {p_value}) 独立样本 t 检验 group_a table.where(lambda r: r[班级] A).columns[成绩] group_b table.where(lambda r: r[班级] B).columns[成绩] t_stat, p_value group_a.independent_t_test(group_b) print(f独立样本 t 检验: t{t_stat}, p{p_value})4.5 分组统计# 按班级分组计算均值 grouped table.group_by(班级) stats grouped.aggregate([ (成绩均值, agate.Mean(成绩)), (成绩标准差, agate.Stdev(成绩)), (人数, agate.Count()) ]) print(stats.print_table())5. 8 个实际应用案例案例 1销售数据描述性统计分析某电商平台一周的日销售额数据import agate import agatestats agatestats.install() sales_data [ (周一, 12500), (周二, 13800), (周三, 11200), (周四, 14600), (周五, 16200), (周六, 19800), (周日, 17500), ] table agate.Table(sales_data, [日期, 销售额], [agate.Text(), agate.Number()]) sales_col table.columns[销售额] print(f日均销售额: {sales_col.mean():.2f}) print(f销售额中位数: {sales_col.median():.2f}) print(f销售额标准差: {sales_col.stdev():.2f}) print(f销售额方差: {sales_col.variance():.2f}) print(f销售额偏度: {sales_col.skewness():.3f}) print(f销售额峰度: {sales_col.kurtosis():.3f})案例 2学生成绩相关性分析分析学生数学成绩与物理成绩的相关性import agate import agatestats agatestats.install() student_data [ (学生A, 85, 78), (学生B, 92, 88), (学生C, 76, 72), (学生D, 88, 85), (学生E, 95, 91), (学生F, 70, 65), (学生G, 82, 80), (学生H, 90, 87), ] table agate.Table(student_data, [姓名, 数学, 物理], [agate.Text(), agate.Number(), agate.Number()]) math_col table.columns[数学] physics_col table.columns[物理] pearson_r math_col.pearson_correlation(physics_col) spearman_rho math_col.spearman_correlation(physics_col) print(f数学与物理 Pearson 相关系数: {pearson_r:.4f}) print(f数学与物理 Spearman 相关系数: {spearman_rho:.4f}) if abs(pearson_r) 0.8: print(结论数学与物理成绩呈强正相关) elif abs(pearson_r) 0.5: print(结论数学与物理成绩呈中等正相关) else: print(结论数学与物理成绩相关性较弱)案例 3A/B 测试结果分析比较两种网页设计方案的转化率是否存在显著差异import agate import agatestats agatestats.install() ab_data [ (A方案, 120, 45), (A方案, 135, 52), (A方案, 110, 38), (A方案, 128, 48), (A方案, 142, 55), (B方案, 115, 30), (B方案, 130, 35), (B方案, 108, 28), (B方案, 122, 32), (B方案, 140, 38), ] table agate.Table(ab_data, [方案, 访问量, 转化数], [agate.Text(), agate.Number(), agate.Number()]) 计算转化率 table table.compute([ (转化率, agate.Formula(agate.Number(), lambda r: r[转化数] / r[访问量] * 100)) ]) group_a table.where(lambda r: r[方案] A方案).columns[转化率] group_b table.where(lambda r: r[方案] B方案).columns[转化率] t_stat, p_value group_a.independent_t_test(group_b) print(fA 方案平均转化率: {group_a.mean():.2f}%) print(fB 方案平均转化率: {group_b.mean():.2f}%) print(ft 统计量: {t_stat:.4f}) print(fp 值: {p_value:.4f}) if p_value 0.05: print(结论两种方案转化率存在显著差异p 0.05) else: print(结论两种方案转化率无显著差异p 0.05)案例 4股票收益率滚动统计计算股票日收益率的 5 日移动平均和移动标准差import agate import agatestats agatestats.install() stock_data [ (2024-01-01, 100.0), (2024-01-02, 102.5), (2024-01-03, 101.0), (2024-01-04, 103.8), (2024-01-05, 105.2), (2024-01-06, 104.0), (2024-01-07, 106.5), (2024-01-08, 108.0), (2024-01-09, 107.2), (2024-01-10, 109.5), ] table agate.Table(stock_data, [日期, 收盘价], [agate.Text(), agate.Number()]) 计算日收益率 table table.compute([ (日收益率, agate.Formula(agate.Number(), lambda r: (r[收盘价] - 100) / 100 * 100)) ]) price_col table.columns[收盘价] 计算 3 日移动平均 ma3 price_col.moving_average(3) print(3 日移动平均收盘价:, [round(v, 2) for v in ma3]) 计算 3 日移动标准差 msd3 price_col.moving_stdev(3) print(3 日移动标准差:, [round(v, 2) for v in msd3])案例 5员工满意度调查分析分析不同部门员工满意度得分的差异import agate import agatestats agatestats.install() survey_data [ (技术部, 85), (技术部, 90), (技术部, 78), (技术部, 92), (市场部, 75), (市场部, 80), (市场部, 72), (市场部, 78), (财务部, 88), (财务部, 85), (财务部, 90), (财务部, 82), ] table agate.Table(survey_data, [部门, 满意度], [agate.Text(), agate.Number()]) 分组统计 grouped table.group_by(部门) dept_stats grouped.aggregate([ (平均满意度, agate.Mean(满意度)), (满意度标准差, agate.Stdev(满意度)), (最低满意度, agate.Min(满意度)), (最高满意度, agate.Max(满意度)), (人数, agate.Count()) ]) print(各部门满意度统计) dept_stats.print_table(max_rows20) 单因素 ANOVA 分析 tech table.where(lambda r: r[部门] 技术部).columns[满意度] market table.where(lambda r: r[部门] 市场部).columns[满意度] finance table.where(lambda r: r[部门] 财务部).columns[满意度] f_stat, p_value tech.anova(market, finance) print(f\nANOVA F 统计量: {f_stat:.4f}) print(fANOVA p 值: {p_value:.4f}) if p_value 0.05: print(结论不同部门满意度存在显著差异) else: print(结论不同部门满意度无显著差异)案例 6产品质量检测异常值分析检测产品重量数据中的异常值import agate import agatestats agatestats.install() weight_data [ (产品1, 50.2), (产品2, 49.8), (产品3, 50.1), (产品4, 50.0), (产品5, 49.9), (产品6, 50.3), (产品7, 55.7), # 异常值 (产品8, 50.1), (产品9, 49.7), (产品10, 50.0), (产品11, 48.5), # 异常值 (产品12, 50.2), ] table agate.Table(weight_data, [产品, 重量], [agate.Text(), agate.Number()]) weight_col table.columns[重量] mean weight_col.mean() std weight_col.stdev() print(f重量均值: {mean:.2f}g) print(f重量标准差: {std:.4f}g) 使用 3-sigma 法则检测异常值 threshold 3 * std print(f\n异常值检测3-sigma 法则阈值: {threshold:.4f}g) for row in table.rows: deviation abs(row[重量] - mean) if deviation threshold: print(f {row[产品]}: {row[重量]}g偏差 {deviation:.2f}g超出阈值) else: print(f {row[产品]}: {row[重量]}g正常)案例 7气温数据趋势分析分析某城市 12 个月的平均气温变化趋势import agate import agatestats agatestats.install() temp_data [ (1月, 2.0), (2月, 4.5), (3月, 9.0), (4月, 15.0), (5月, 20.5), (6月, 25.0), (7月, 28.0), (8月, 27.5), (9月, 23.0), (10月, 17.0), (11月, 10.0), (12月, 4.0), ] table agate.Table(temp_data, [月份, 平均气温], [agate.Text(), agate.Number()]) temp_col table.columns[平均气温] print(f全年平均气温: {temp_col.mean():.1f}°C) print(f气温中位数: {temp_col.median():.1f}°C) print(f气温标准差: {temp_col.stdev():.1f}°C) print(f气温偏度: {temp_col.skewness():.3f}) print(f气温峰度: {temp_col.kurtosis():.3f}) 计算月份序号用于趋势分析 table table.compute([ (月份序号, agate.Formula(agate.Number(), lambda r: int(r[月份].replace(月, )))) ]) month_num table.columns[月份序号] correlation month_num.pearson_correlation(temp_col) print(f\n月份与气温 Pearson 相关系数: {correlation:.4f}) if correlation 0: print(结论气温随月份呈上升趋势1-7月) else: print(结论气温随月份呈下降趋势7-12月)案例 8电商用户行为分析分析不同用户群体的购买行为差异import agate import agatestats agatestats.install() user_data [ (新用户, 1, 150.0), (新用户, 1, 200.0), (新用户, 2, 180.0), (新用户, 1, 120.0), (新用户, 1, 250.0), (老用户, 5, 800.0), (老用户, 3, 450.0), (老用户, 4, 600.0), (老用户, 6, 950.0), (老用户, 3, 500.0), (VIP用户, 10, 2000.0), (VIP用户, 8, 1800.0), (VIP用户, 12, 2500.0), (VIP用户, 7, 1500.0), (VIP用户, 9, 2200.0), ] table agate.Table(user_data, [用户类型, 购买次数, 总消费额], [agate.Text(), agate.Number(), agate.Number()]) 计算客单价 table table.compute([ (客单价, agate.Formula(agate.Number(), lambda r: r[总消费额] / r[购买次数])) ]) 分组统计 grouped table.group_by(用户类型) user_stats grouped.aggregate([ (平均购买次数, agate.Mean(购买次数)), (平均总消费, agate.Mean(总消费额)), (平均客单价, agate.Mean(客单价)), (消费标准差, agate.Stdev(总消费额)), (用户数, agate.Count()) ]) print(各用户类型行为统计) user_stats.print_table(max_rows20) 新用户与老用户消费差异 t 检验 new_users table.where(lambda r: r[用户类型] 新用户).columns[总消费额] old_users table.where(lambda r: r[用户类型] 老用户).columns[总消费额] t_stat, p_value new_users.independent_t_test(old_users) print(f\n新用户 vs 老用户消费 t 检验:) print(ft 统计量: {t_stat:.4f}) print(fp 值: {p_value:.4f}) if p_value 0.05: print(结论新用户与老用户消费存在显著差异) else: print(结论新用户与老用户消费无显著差异)6. 常见错误与使用注意事项6.1 常见错误错误类型错误信息原因解决方法未注册扩展AttributeError: NumberColumn object has no attribute mean未调用agatestats.install()在使用统计方法前先执行agatestats.install()数据类型错误TypeError: unsupported operand type(s)对非数值列调用统计方法确保目标列类型为agate.Number()数据量不足ValueError: need at least one value空列或数据行数不足检查数据是否为空确保有足够样本缺失值处理ValueError: NaN values detected数据中包含 NaN 值使用table.where()过滤或填充缺失值分组键错误KeyError: 列名分组列名不存在确认列名拼写正确区分大小写6.2 使用注意事项数据不可变性agate 表格是不可变的所有操作都返回新表格不会修改原数据。如果需要修改请将结果赋值给新变量。内存管理对于大型数据集agate-stats 的统计计算会加载全部数据到内存建议先对数据进行采样或分批处理。统计假设检验前提使用 t 检验、ANOVA 等参数检验前应检查数据是否满足正态性和方差齐性假设。agate-stats 不自动检查这些前提条件需要用户自行验证。缺失值处理策略agate-stats 的统计方法默认不处理缺失值。建议在计算前使用table.where(lambda r: r[列名] is not None)过滤缺失值。版本兼容性agate-stats 与 agate 主版本需要匹配。建议使用pip install agate-stats0.2.0确保兼容性。性能考量对于超过 10 万行的大数据集agate-stats 的性能可能不如 pandas。建议在数据量较大时考虑使用其他库。结果解释统计结果需要结合业务背景进行解释避免机械套用统计结论。例如相关性不等于因果关系。滚动统计窗口moving_average()和moving_stdev()的窗口大小必须小于数据长度否则会返回空列表。7. 总结agate-stats 是 agate 数据分析库的重要扩展为 Python 开发者提供了简洁、易用的统计计算能力。通过本文的 8 个实际案例可以看到 agate-stats 在销售分析、教育评估、A/B 测试、金融分析、员工调查、质量检测、气象分析和用户行为分析等场景中的广泛应用。掌握 agate-stats 的核心功能和使用注意事项能够帮助数据分析师快速完成常见统计任务提高工作效率。《动手学PyTorch建模与应用:从深度学习到大模型》是一本从零基础上手深度学习和大模型的PyTorch实战指南。全书共11章前6章涵盖深度学习基础包括张量运算、神经网络原理、数据预处理及卷积神经网络等后5章进阶探讨图像、文本、音频建模技术并结合Transformer架构解析大语言模型的开发实践。书中通过房价预测、图像分类等案例讲解模型构建方法每章附有动手练习题帮助读者巩固实战能力。内容兼顾数学原理与工程实现适配PyTorch框架最新技术发展趋势。
