Pandas 操作指南（五）：表格重塑与数据整合

在数据分析中并不是所有表格一开始都具有合适的结构。有时一张表虽然保存了所需数据但其组织方式并不利于统计与比较有时信息分散在多张表中需要先整合后分析。由此可见分析不仅依赖于数据内容还依赖于数据结构。Pandas 提供了两类非常重要的能力• 重塑表格结构Reshaping• 整合多张数据表Combining Tables本文将围绕学生成绩、班级信息和社团信息等示例说明如何认识长表与宽表如何重塑单张表以及如何按关键字段合并或连接多张相关数据表。下面先构造本篇所需的几张表import pandas as pd # 学生成绩表scores pd.DataFrame([ {学号: S001, 姓名: 张三, 班级: C01, 语文: 88, 数学: 92, 英语: 85}, {学号: S002, 姓名: 李四, 班级: C01, 语文: 76, 数学: 81, 英语: 79}, {学号: S003, 姓名: 王五, 班级: C02, 语文: 90, 数学: 87, 英语: 93}, {学号: S004, 姓名: 赵六, 班级: C02, 语文: 85, 数学: 89, 英语: 88}, {学号: S005, 姓名: 孙七, 班级: C03, 语文: 91, 数学: 95, 英语: 90}, {学号: S006, 姓名: 周八, 班级: C03, 语文: 78, 数学: 84, 英语: 80}]) # 班级信息表classes pd.DataFrame([ {班级: C01, 班主任: 刘老师}, {班级: C02, 班主任: 陈老师}, {班级: C03, 班主任: 王老师}]) # 社团信息表clubs pd.DataFrame([ {学号: S001, 社团: 篮球社}, {学号: S003, 社团: 文学社}, {学号: S005, 社团: 科技社}])一、为什么有时需要重塑表格与整合数据一张表“能存数据”并不等于它“适合分析”。例如有些表把不同指标横向排开适合阅读却不利于分组统计有些表则按一条记录一行组织适合筛选却不利于汇总展示。此外在很多实际场景中数据分散在多张表中• 成绩在一张表• 班主任信息在另一张表• 社团信息在第三张表若不先重塑表格或整合数据分析就会受到限制。因此表格重塑与数据整合的目标大致有两类第一调整单张表的内部结构使其更适合某种分析任务。第二按照关键字段整合多张相关表形成更完整的数据视图。二、认识长表与宽表长表Long Format与宽表Wide Format是数据组织方式中的两个基本概念。1、宽表当前的 scores 如下它是一张典型宽表学号 姓名 班级 语文 数学 英语0 S001 张三 C01 88 92 851 S002 李四 C01 76 81 792 S003 王五 C02 90 87 933 S004 赵六 C02 85 89 884 S005 孙七 C03 91 95 905 S006 周八 C03 78 84 80• 一行对应一个学生• 不同科目分别占据不同列这种形式适合直观查看单个学生的多项成绩。2、长表若把“语文、数学、英语”三列改成“科目”和“成绩”两列则会得到长表。在长表中一个学生会出现多行每行对应一门科目。长表更适合• 分类统计• 分组分析• 可视化• 作为透视汇总的原始输入从变量组织方式看宽表往往把同一类指标分散在多个列中而长表则把这些列收拢为“变量列 数值列”的形式。宽表适合展示“一个对象的多项属性”长表适合表示“同一指标在不同类别下的重复观测”。理解这一点是后续重塑表格的基础。三、重塑单张表的结构Pandas 中常见的重塑方法之一是 melt()。它可以把宽表转换为长表。使用 melt()long_scores scores.melt( id_vars[学号, 姓名, 班级], value_vars[语文, 数学, 英语], var_name科目, value_name成绩) print(long_scores)说明• id_vars 表示保留不变的标识列• value_vars 表示需要展开的列• var_name 表示新产生的“变量列”名称• value_name 表示新产生的“值列”名称输出学号 姓名 班级 科目 成绩0 S001 张三 C01 语文 881 S002 李四 C01 语文 762 S003 王五 C02 语文 903 S004 赵六 C02 语文 854 S005 孙七 C03 语文 915 S006 周八 C03 语文 786 S001 张三 C01 数学 927 S002 李四 C01 数学 818 S003 王五 C02 数学 879 S004 赵六 C02 数学 8910 S005 孙七 C03 数学 9511 S006 周八 C03 数学 8412 S001 张三 C01 英语 8513 S002 李四 C01 英语 7914 S003 王五 C02 英语 9315 S004 赵六 C02 英语 8816 S005 孙七 C03 英语 9017 S006 周八 C03 英语 80可以看出宽表转换成长表之后通常行数会增加、列数会减少。若使用长表结构后续便可以更自然地• 按科目分组• 比较不同班级在不同科目上的表现• 绘制科目分布图因此重塑不是形式变化而是为了适应分析任务。需要注意长表并不一定优于宽表而是更适合某些分组、统计以及可视化任务。四、将长表转换为宽表或透视表除了把宽表转成长表也常常需要把长表转换成宽表。Pandas 中常见方法包括 pivot() 与 pivot_table()。使用 pivot_table()# 使用上一步得到的长表summary long_scores.pivot_table( index班级, columns科目, values成绩, aggfuncmean) print(summary)这会生成一个“按班级汇总、按科目展开”的统计表科目 数学 英语 语文班级 C01 86.5 82.0 82.0C02 88.0 90.5 87.5C03 89.5 85.0 84.5pivot() 适合索引与列组合一一对应、不会重复的情况若同一组合下存在多条记录则通常应使用 pivot_table()并通过 aggfunc 指定聚合方式。可以把 pivot() 理解为“纯重排”把 pivot_table() 理解为“可聚合的透视汇总”。从宽表到长表再从长表到透视表本质上都是在改变数据的组织视角使其更适合当前任务。五、按照关键字段合并数据当信息分散在多张表中时最常见的做法是按关键字段进行合并。Pandas 中对应的方法是 merge()。1、按班级合并班主任信息scores_with_class pd.merge(scores, classes, on班级)print(scores_with_class)这里的 on班级 表示以“班级”作为匹配键。merge() 适合按字段匹配。若不显式指定 howmerge() 默认使用 inner 连接。2、按学号合并社团信息scores_with_club pd.merge(scores, clubs, on学号, howleft)print(scores_with_club)这里使用了 howleft表示以左表 scores 为基准保留所有学生记录。参数 how 的常见选项有• inner只保留两表都匹配到的记录• left保留左表全部记录• right保留右表全部记录• outer保留两表所有记录理解这些合并方式是多表分析的基础。六、连接多张相关数据表在 Pandas 中除 merge() 外还可以使用 join() 与 concat() 连接表格。1、按索引连接join() 适合已经以索引组织好的表left scores.set_index(学号)right clubs.set_index(学号) print(left.join(right))2、按行或按列拼接concat() 适合按行或按列直接拼接。按行拼接part1 scores.iloc[:3]part2 scores.iloc[3:] print(pd.concat([part1, part2], axis0))按列拼接names scores[[学号, 姓名]]subjects scores[[语文, 数学, 英语]] print(pd.concat([names, subjects], axis1))需要注意axis1 本质上是按索引对齐后横向拼接若两张表索引不一致结果中可能出现缺失值。与 merge() 不同的是它不是按“学号”“班级”等字段匹配而是按索引位置或索引标签对齐。七、根据任务选择合适的整合方式在实际工作中应先判断问题属于“单表结构调整”还是“多表数据整合”再选择具体方法。1、需要按键匹配时用 merge()若两张表之间存在清晰的业务键例如“学号”“班级”“订单号”等优先考虑 merge()。2、需要按索引对齐时用 join()若数据表已经使用索引组织且希望按索引连接则 join() 更自然。3、需要上下或左右拼接时用 concat()若只是把若干同结构表上下合并或把若干列横向拼接则 concat() 更直接。4、需要变换单表结构时用 melt() 与 pivot_table()若问题不在于“多表”而在于“单表结构不适合分析”则应先重塑再分析。数据整合的关键不是记住某一个函数而是先判断当前问题属于“单表结构调整”还是“多表关系连接”。在选择 merge()、join()、concat() 之前先判断两张表之间到底是“按键匹配关系”还是“按索引对齐关系”或只是“简单上下/左右拼接关系”。八、综合示例在实际工作中数据未必一开始就整齐地保存在一张完整的成绩总表中。更常见的情况是不同科目的成绩分别来自不同老师、不同工作表或不同文件。此时往往需要先把这些分散的表整合为统一的长表再根据分析需要生成透视汇总表或进一步整理成便于查看的宽表。下面通过一个完整示例演示这一过程。import pandas as pd # # 1. 构造三个独立的单科成绩表# 每张表分别来自一个学科结构基本一致# # 语文成绩表chinese pd.DataFrame([ {学号: S001, 姓名: 张三, 班级: C01, 成绩: 88}, {学号: S002, 姓名: 李四, 班级: C01, 成绩: 76}, {学号: S003, 姓名: 王五, 班级: C02, 成绩: 90}, {学号: S004, 姓名: 赵六, 班级: C02, 成绩: 85}, {学号: S005, 姓名: 孙七, 班级: C03, 成绩: 91}, {学号: S006, 姓名: 周八, 班级: C03, 成绩: 78}]) # 数学成绩表math pd.DataFrame([ {学号: S001, 姓名: 张三, 班级: C01, 成绩: 92}, {学号: S002, 姓名: 李四, 班级: C01, 成绩: 81}, {学号: S003, 姓名: 王五, 班级: C02, 成绩: 87}, {学号: S004, 姓名: 赵六, 班级: C02, 成绩: 89}, {学号: S005, 姓名: 孙七, 班级: C03, 成绩: 95}, {学号: S006, 姓名: 周八, 班级: C03, 成绩: 84}]) # 英语成绩表english pd.DataFrame([ {学号: S001, 姓名: 张三, 班级: C01, 成绩: 85}, {学号: S002, 姓名: 李四, 班级: C01, 成绩: 79}, {学号: S003, 姓名: 王五, 班级: C02, 成绩: 93}, {学号: S004, 姓名: 赵六, 班级: C02, 成绩: 88}, {学号: S005, 姓名: 孙七, 班级: C03, 成绩: 90}, {学号: S006, 姓名: 周八, 班级: C03, 成绩: 80}]) # # 2. 为每张表添加“科目”列# 这样在拼接后仍能区分每条记录属于哪门课程# chinese[科目] 语文math[科目] 数学english[科目] 英语 # # 3. 按行拼接三张表形成统一长表# ignore_indexTrue 用于重置拼接后的行索引# long_scores pd.concat([chinese, math, english], axis0, ignore_indexTrue) # 调整列顺序使结构更清晰long_scores long_scores[[学号, 姓名, 班级, 科目, 成绩]] print( 长表 )print(long_scores) # # 4. 对长表进行透视汇总# 按班级统计各科平均分# index班级 - 行按班级组织# columns科目 - 列按科目展开# values成绩 - 汇总的数值列# aggfuncmean - 对每组计算平均值# class_summary long_scores.pivot_table( index班级, columns科目, values成绩, aggfuncmean) print(\n 各班各科平均分透视表 )print(class_summary) # # 5. 将长表转换为宽表# 目标一行对应一个学生每门课程各占一列# pivot() 适用于每个“学号-科目”组合唯一的情况# wide_scores long_scores.pivot( index[学号, 姓名, 班级], columns科目, values成绩).reset_index() print(\n 宽表 )print(wide_scores)这个示例展示了一个较为真实的数据处理流程先将分散的单科成绩表拼接为统一长表再利用透视汇总生成班级统计结果最后按需要转为宽表。由此可见表格重塑与数据整合往往不是孤立操作而是需要围绕具体任务连续配合使用。 小结数据分析不仅依赖于数据内容也依赖于数据结构。只有根据任务需要调整单表结构、整合多表信息才能把分散或不便分析的数据重新组织为清晰、完整且适合后续统计与比较的统一视图。“点赞有美意赞赏是鼓励”