马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要 登录 才可以下载或查看,没有账号?立即注册
×
Python数据分析速成笔记(Pandas数据清洗+Matplotlib可视化+实战案例)
?& H2 q. Z1 I: f# N* w0 ?( u7 x Q7 P+ l
内容概述:本资料为本人学习整理的原创笔记,共 6 章 + 附录,约 30 页。覆盖 Python 数据分析全流程:数据读取(CSV/Excel/中文编码处理)→ 数据初探与清洗(缺失值、重复值、类型转换、异常值处理)→ 数据筛选与分组聚合(loc/iloc、groupby、agg 常用组合)→ 时间与字符串处理 → Matplotlib 可视化模板(柱状图、折线图、箱线图、散点图、热力图,含中文字体配置与图表规范)→ 一个完整实战案例(租房信息数据清洗与可视化分析,从原始 CSV 到结论输出)。附录整理 10 个高频报错及修复方法(中文乱码、SettingWithCopyWarning、KeyError、类型转换失败等)和四张常用操作速查表。所有代码均经本人环境实测可运行,关键步骤附注释与每一步的 shape 检查说明。
6 R+ Z$ N8 r4 I& l! o2 f# k/ s2 M- {+ H$ |# ^( E; C
适用人群:1)正在学期数据分析、Python 数据处理课程的同学,可当期末复习提纲;2)准备数据分析/大数据岗位实习面试,需要快速补齐 Pandas 实操的应届生;3)零基础转行、不想死磕语法、只需要看懂代码并改参数的学习者。
0 W0 [: r7 {4 }
$ n5 _* q9 _ Y3 D; G% Y: c使用方法:建议按章节顺序边看边敲,每章末尾的代码块可直接复制到 Jupyter Notebook 运行;第 6 章实战案例可替换成自己的 CSV 数据练手。若只想应急,优先看第 2、3 章(清洗与聚合)和附录报错速查,能覆盖 80% 的日常需求。
0 f1 i7 U7 X O( K5 {, E% l; B/ r: u' Z7 X* e
附:附件首页即目录,可按目录快速定位;重要表格与代码均已排版为可直接照敲的格式。附件就是咱们刚才说的这份完整Python Pandas数据分析实战笔记(Word文档),就是你要上传的文件,我直接把完整内容给你,你复制粘贴到Word里保存,这个就是上传用的附件:+ e" V% |: O; H, Q9 Z( S
# A2 C0 R/ v8 i& v【电子信息】Python Pandas数据分析实战笔记|租房信息采集与可视化项目
/ b0 d, w/ c/ M) i/ h- O8 O. F8 s6 q: d
1 G4 _0 a5 R$ L! V+ r目录$ Z6 D7 i1 w9 h8 N
7 g# n; V0 V2 w$ A% R第1章 Pandas基础与数据读取; Z8 ]* R2 J0 X3 b# R- s* i
第2章 数据清洗3 h. N* w4 j) g; J2 w: _
第3章 数据筛选、分组与聚合. q% b5 z0 ?7 L
第4章 字符串、时间格式处理
4 s' e5 ^1 [7 d Y; ~第5章 Matplotlib基础可视化
8 E7 d8 z1 d- K# D3 c% L第6章 实战:租房信息采集与可视化(毕设同款项目)
8 h) ?) R* l8 W& S附录A 常见报错速查
" O, F* i0 S& @9 J7 q1 }. o附录B Pandas高频函数速查表
. A# s& a- I7 L) I" }附录C 配套练习题+参考答案' {' Q5 ?, m7 X4 c0 a0 E
! S/ c8 w4 N$ J" W. ^$ u2 U3 `+ ^
( ?) `' a+ W" [
# |! j: w+ W, b! ^4 a7 s. z# {第1章 Pandas基础与数据读取/ y4 S6 o& F D; Z
3 K$ K5 }: c/ q9 N% ]8 q: j* ^. o
1.1 环境准备
! v1 k/ O6 `( \% _& ]8 D- c/ } ' C5 m" }5 `/ H: h+ K& g, j& P0 `& j
安装依赖包
3 L: [, }$ ]" O& K 6 ?. c6 ~/ t; x3 n8 e
python
+ g1 k+ o @( v5 m% Z 8 F$ }' }8 |6 v1 v! i8 E2 b
pip install pandas matplotlib t% ?: E% o: r' I# ?
3 Z+ }$ k& a; w2 `7 v1 n- W4 { ) `. |) x6 `# v8 P* Y/ D
导入库
: J( J$ _8 N ^" `
* K D: N( h. Q7 `% K4 qpython9 f$ u0 ^/ U/ q+ r' o* X2 k
0 j- l7 P- _ ?& E- fimport pandas as pd/ Q& b! C* ]2 k' A7 T0 N
import matplotlib.pyplot as plt% W3 Y7 j" O$ A" s9 L7 z: n1 ?
# 设置中文,防止图表乱码$ w. J7 V7 ]! d
plt.rcParams["font.sans-serif"] = ["SimHei"]! {0 j5 s7 ], w" n
plt.rcParams["axes.unicode_minus"] = False, Z% Z" D. `2 _; n! V; H
( x1 W5 S, |' z
: B) Y- l& n' m9 ~# Z% a3 {) ?
1.2 两大核心结构
_6 v2 ^3 _; Q, Y3 I* M 8 Y- K/ ~; a8 H% u; A y6 O' m
- Series:一维序列,类似一列
: S$ V* m- H. x- DataFrame:二维表格,就是我们最常用的表结构
. R' @8 C) Q: P
- p% @) B( u+ ^+ k' r1.3 读取外部文件- U- z7 l& R( D$ \1 }( ?( H
, j" s0 p" f3 o3 hpython7 w2 r5 d# G$ ?" r2 K6 {1 C8 F
& U8 U' ], g* y8 s8 ]- \3 Y# 读取csv( H% V. [5 Q1 b( y0 \2 j$ S* X+ Y
df = pd.read_csv("house.csv")* e" z4 ~2 T3 _% W
# 读取excel,需要安装openpyxl
6 J( X% y$ R1 g9 g0 ?df = pd.read_excel("house.xlsx")
7 j- X) d& Z9 C# 查看前5行* t( n% u1 R$ X* E# E
print(df.head())
, @+ i7 e6 Z% }* n% l# 查看基础信息
$ f8 T! @6 D7 w' Hprint(df.info())
- z4 E: n* ? U% m) M0 h6 k9 v( e# 查看统计描述
9 r: W) ?) B9 N$ X0 @# hprint(df.describe())7 ^; _( R3 c- u1 z3 u0 F
: n" j2 a% S5 O- p) n4 c( B1 z. G
+ U) R9 v, D O8 v/ Y7 y1.4 基础查看命令0 s2 U% x$ K6 i5 n: n# O
# u1 v$ N0 [$ J( o6 n# F# lpython
" K, h) c, | e# i& |0 z & l) w8 B8 I. u% U, x9 g* j
df.shape # 行数、列数
9 G! ^- n: k1 z. }2 Gdf.columns # 全部列名 l5 b. Y, F, j6 U/ d
df.dtypes # 每一列数据类型# t( E6 _2 O( D6 _5 @8 B
' E! W# s0 A0 U6 q7 _* {5 a
8 \1 U" Y9 w3 ] w8 d% P
# K' q* s+ {* k5 a& ]' `1 l% }' [
8 ]9 t& x2 }0 F$ }; c- X
第2章 数据清洗
8 P; ^% {" a. a! a* U3 z& v ) K2 q6 d' g* _
数据清洗是数据分析最耗时的环节,目标:处理缺失值、重复值、异常值
1 B+ Y" R/ P$ s, v* q8 O. Q 6 t3 ^& Q1 H, Z: {- R, x
python
k8 ^2 i; J" L9 A
. |2 A, S$ a5 t7 {# 检查缺失值$ N9 g" |* ^6 s7 T2 P
df.isnull().sum()/ |9 {" C/ G2 ?0 `+ T
# 删除存在缺失的行
+ X) G# ~: Y( o" idf = df.dropna() a7 i. q8 \+ O
# 填充缺失值(均值填充), d. J8 f4 a* h% ]
df["price"] = df["price"].fillna(df["price"].mean())' W. G4 m' Z& F( }
8 X5 ^( \( f o1 g; l. |
# 删除重复行, @" {* L1 C- ?5 [
df = df.drop_duplicates()/ Y6 d0 I/ I! B
. N6 O0 ^7 p0 C& c$ t+ {
# 筛选异常值:房租大于0
0 Q4 I/ E& @, L T0 C# ~2 V( D8 M3 Kdf = df[df["price"] > 0]$ R$ @8 t/ S1 x) ~$ q* K
3 R8 w; \# E: N: J$ p+ c ~' q" J% d4 J; k4 ^
笔记说明:租房数据里经常会有空租金、重复爬虫数据,这几段是项目里高频代码。
& P' C: n9 K* S2 R1 p9 k 6 G9 K- D) q) o' ^6 S" X
; H$ R8 f) T! \4 T ]1 o
M: Q/ A4 H" T; R第3章 数据筛选、分组与聚合
- u, `* j/ R3 a3 a. w# y
- G8 u$ Z4 D% v6 a, i6 N8 c9 k3.1 条件筛选7 t* i. |5 l* o2 n/ M
, H) J6 V# @- W. bpython7 C) c# O0 C: Y6 k9 K
' T; \+ I* z: H) e: e' i$ T2 t
# 筛选租金小于2000的房源7 j+ X2 Y/ _+ Q+ g8 F
df_cheap = df[df["price"] < 2000]0 I* R' M f4 y) i
# 多条件筛选:2000以内 + 朝南
* z2 a8 T E8 ~# U* Ldf_filter = df[(df["price"]<2000) & (df["direction"]=="朝南")]" F; c' B& G( ^- {0 d
9 e6 y9 x7 `+ z
( y" J% H% P& ]2 h: n1 Y3.2 groupby分组聚合
& M# y) s2 V+ q* A8 A
5 F' @* } b) f5 C3 e9 i0 g" vpython) {- [0 {* U% p% `8 r9 E2 C
, X( e( x- D# q# A6 [( g# 按区域分组,求各区平均租金1 ]. X( }$ R6 c9 |" v
area_avg = df.groupby("area")["price"].mean().reset_index()
3 c1 B# o; v6 \$ ~" e/ w w# 统计每个区域房源数量
7 b8 S# q. @/ F4 Marea_count = df.groupby("area").size().reset_index(name="count")
7 o& m& [! T5 P* H" B* h1 ?, l
J% v- G# E$ u; E5 [
1 n$ Y* {$ t; c+ n$ c% O+ q
; N9 H0 [& r: v6 j$ z
0 {. l& H5 ^1 g5 }第4章 字符串、时间格式处理
7 n: p: F' }6 @2 b
; Y. @3 A5 B, u* B4.1 字符串处理(拆分户型、面积)
4 u# T2 H3 m/ z, q% Q+ n c" b 0 @. h4 l; u8 E7 b9 O
python2 D" A2 b+ ~7 O# @
( r6 ~1 q2 t, E+ V9 u, U
# 提取面积数字,例如"65㎡"提取65; Q. f3 |8 X; }2 m: U6 x; S
df["area_num"] = df["size"].str.extract("(\d+)").astype(float)$ T* T# V% e* M3 b
( Q, ?% y4 n& Q& g7 Y 7 y+ O0 `7 Q' A$ v& K# g
4.2 时间转换$ p4 g) @8 x9 R# c$ x' N: F' r B
' j8 n! k, R. m! D2 C9 D
python z' V' l, U/ P( {5 v! b# K
% i) y8 o5 Z3 ?$ P' ]# 字符串转时间格式7 C0 D, S2 V2 \7 @
df["publish_time"] = pd.to_datetime(df["publish_time"])% B, @$ R4 g( I3 K1 ^: j
# 提取月份+ C9 v0 O0 n/ C/ y
df["month"] = df["publish_time"].dt.month
* ?8 }! r% i) d' u( q
2 h, }/ [2 \$ g8 G* f" @
: w$ z+ a1 L) x( l( c9 \ , H0 E8 T/ @! M8 W5 L
" f" y$ X7 @4 q7 g8 K, U) V
第5章 Matplotlib基础可视化) Y" o* v) R5 d5 u& E5 g4 H( U" S
% Q( b0 u' H' T G# V5 s
python( S$ H) y Q1 e E7 ^
9 U% p+ h) d7 l, v0 I9 }/ ]# 绘制各区平均租金柱状图
d8 K9 [. ]5 c7 P2 E$ I5 kplt.figure(figsize=(10,5))
7 d1 }% ]& o4 g" nplt.bar(area_avg["area"], area_avg["price"])
G; q: D ^/ h dplt.title("各区域租房平均租金")! k6 W7 G% k/ a: @$ u: p
plt.xlabel("区域")2 V, U. x1 @6 k ]/ K) B
plt.ylabel("平均租金(元)")
' L6 r n/ |) o1 z5 U8 Kplt.xticks(rotation=45)
) E8 i( z# z. o z# I& Zplt.tight_layout()
% T2 i. T3 X+ M6 _" f0 m( w/ Qplt.show(); b! n5 E* z8 t0 z
- X, X+ R2 q) ~0 E
, N q0 g4 w6 v& l' W " ]% a( i: U, I4 ?$ c; n
2 l( }. e- r( O# r t% [第6章 实战:租房信息采集与可视化(毕设项目)# N: M3 h5 W) Y$ e7 ]
* C F3 `3 } [1 t5 z: s
项目背景:本项目为大数据专业课程设计/毕业设计简易版本,实现租房数据读取、清洗、统计、可视化,可扩展Flask网页展示。
" q: B% I. p6 c, N8 H# G0 X0 g ' i5 L% Y0 m4 G: j/ g/ U' r( Q% \
python' @' B) p( L8 R
. V2 r3 a/ ?3 oimport pandas as pd
8 k/ S/ F! g: \, l! p# H0 aimport matplotlib.pyplot as plt1 Y W2 q; z& X- j
" ?8 ? x4 B8 O- |$ J- P9 [
plt.rcParams["font.sans-serif"] = ["SimHei"]
3 |% t7 Q d5 Z( }# y9 ?plt.rcParams["axes.unicode_minus"] = False
' j/ J# p2 q x9 J! e+ C# L3 T0 N( [, F
# 1.读取数据
a9 r2 b, Q) I/ P3 _# h/ r1 S Wdf = pd.read_csv("house.csv")
; h& u) X* `: t R% X# 2.清洗! L! B, ?1 w3 @$ o& ~5 Q
df = df.dropna()
, X) |" v+ I! x2 o# o7 o, adf = df.drop_duplicates()
- F5 U; b' U( q% P/ H$ Sdf = df[df["price"]>0]
9 P% D! N: Q, h1 \/ _* G# p2 [# 3.分组统计2 |( C, N. ]2 _! @/ E( _
res = df.groupby("district")["price"].agg(["mean","count"]).reset_index()
/ }; h H/ u4 x+ @, [4 mres.columns = ["区域","平均租金","房源数量"]' b9 [! a% {( o" U5 X
# 4.绘图
: @- D6 L7 e+ t! B9 ~* lplt.figure(figsize=(12,6))
, ^+ d, _/ R3 kplt.bar(res["区域"], res["平均租金"], color="#4472C4")0 c0 n! u5 v7 t7 I# c! p
plt.title("武汉各区域租房均价统计")
5 I1 h: h: a% G4 m, ~- jplt.ylabel("均价")
3 ^9 m, ~+ s5 m Eplt.xticks(rotation=45)+ Y. u% P, x1 t/ L8 e7 ?9 }' @
plt.tight_layout()
' ^6 Z1 f+ A( V' R5 E" i5 x( Q: eplt.show()6 d9 H1 O9 ^) z6 V
# 5.输出结果 D) R: O! R; _: f, y4 p
print(res)% k5 ^ W) b6 v/ P
: {9 v; a; U8 k x# l
, W- ^9 k0 Z% m0 v1 d% ] Q7 _
拓展方向:
9 T5 r N+ F3 u( i
: D; z# V" ?/ Q9 w1. 接入爬虫获取实时房源
1 a4 F/ w% n$ v1 k5 Q/ i2. 使用Flask搭建网页可视化页面
+ s& g! M( I6 `( J+ A5 a3. 增加租金分布直方图、箱线图9 n; p5 G0 o8 ]/ {& a5 H
& @0 [" H/ x9 R# v/ B# @, W% \( [2 U
% z- @! b; S. Q& [5 n! t- n! j; `( E m
% Z' T5 e0 F1 M% R" h附录A 常见报错速查: ~) v' k' A0 g3 ]
# `4 z* K- r n0 q
1. ModuleNotFoundError: No module named 'pandas' → 没有安装包,执行pip install
1 \: a8 i# v8 R0 J' E% r% l2. 中文方框乱码 → 缺少字体设置代码,复制字体那两行
8 o, U7 I' Q% P% M0 Q3 {: z7 K0 K3. ValueError: cannot convert float NaN to integer → 数据存在空值,先dropna或者fillna
( ^9 r4 _7 {. F Q% B9 I9 K% ~4. 索引对齐报错 → 检查分组、筛选的时候有没有空数据$ S" ?( H2 i9 k: F- x0 y
! W0 g" D; f8 f$ a: X' k附录B Pandas高频函数速查表
, c& y Y1 M- u% _' r2 t2 h 7 N# H5 Z) d! x ^3 `% t4 M& ]
功能 代码 / s, d' s; z5 p" q+ S
读取csv pd.read_csv()
% l$ h5 ~7 N, i; R$ ^空值检查 isnull().sum() ( \: h: ]4 c" Q) y3 u& `
删除重复 drop_duplicates() / s. Q! c3 U4 p# s: w
分组 groupby()
. L# {5 j9 s! n$ z/ Y排序 sort_values() $ W: s: m. [# Q0 @, [ Z
保存结果 to_csv() - I! ]. u4 e( H; u: `0 n
9 C m* b0 [" ?附录C 配套练习题+参考答案
8 _1 x# r7 p3 C3 C6 O % ?9 ~; g+ Q7 J" c9 U
1. 题目:筛选租金1500-3000之间的房源
4 s k+ }) n+ |' {, u参考答案: v S; H* }! G; E4 K0 n
) f8 x, R# \2 m! vpython' @1 N2 _ O. J: V
- e) D+ j" ~7 x& v! G, Q+ L6 ndf_new = df[(df["price"]>=1500)&(df["price"]<=3000)]
) T& E4 A) C- \ l1 B: h) d& V: S
& ^- ]1 M! n, T6 [
2. 题目:按户型分组,统计房源数量
& G3 M4 i" A3 F4 J2 a0 R) S参考答案:0 p, t9 q2 V7 l! B7 `+ ~1 Z
7 V; Z$ _; r4 w I& r6 J9 q
python% g- D/ s1 m" Y8 D
8 X F7 J" l c4 v6 wdf.groupby("house_type").size* ^3 c: I# t- X. v2 X! Y2 @+ G, Q
( q( m6 H9 ^% x
; Z1 h, s# k( P7 @+ J2 ?! L% z/ D/ r7 ]& B3 W' Z# {, h6 R
Python数据分析速成笔记(Pandas数据清洗+Matplotlib可视化+实战案例)+ j3 {8 A4 X- ]0 `7 V8 ^! I# A9 H( L
' g! }5 K& o" ~2 {+ `* `
+ k7 j3 \8 b" V- a! E内容概述:本资料为本人学习整理的原创笔记,共 6 章 + 附录,约 30 页。覆盖 Python 数据分析全流程:数据读取(CSV/Excel/中文编码处理)→ 数据初探与清洗(缺失值、重复值、类型转换、异常值处理)→ 数据筛选与分组聚合(loc/iloc、groupby、agg 常用组合)→ 时间与字符串处理 → Matplotlib 可视化模板(柱状图、折线图、箱线图、散点图、热力图,含中文字体配置与图表规范)→ 一个完整实战案例(租房信息数据清洗与可视化分析,从原始 CSV 到结论输出)。附录整理 10 个高频报错及修复方法(中文乱码、SettingWithCopyWarning、KeyError、类型转换失败等)和四张常用操作速查表。所有代码均经本人环境实测可运行,关键步骤附注释与每一步的 shape 检查说明。- q' ^& @/ ~, |8 |; Y8 f
- x( L6 p7 K, }+ Q. ]* T3 x% ~ }适用人群:1)正在学期数据分析、Python 数据处理课程的同学,可当期末复习提纲;2)准备数据分析/大数据岗位实习面试,需要快速补齐 Pandas 实操的应届生;3)零基础转行、不想死磕语法、只需要看懂代码并改参数的学习者。, Y e1 T, {2 J; [& \) N$ N
% v- I3 t0 Q$ l
使用方法:建议按章节顺序边看边敲,每章末尾的代码块可直接复制到 Jupyter Notebook 运行;第 6 章实战案例可替换成自己的 CSV 数据练手。若只想应急,优先看第 2、3 章(清洗与聚合)和附录报错速查,能覆盖 80% 的日常需求。$ \* [: J, [# h7 e$ Y6 l0 |
% ?* l, ~. e0 B: C附:附件首页即目录,可按目录快速定位;重要表格与代码均已排版为可直接照敲的格式。
9 Z& N' Z# V; I9 N$ [6 u |