【电子信息】Python Pandas数据分析实战笔记|租房信息采集与可视化项目

251 0
FFFyyyy 发表于 3 天前 | 查看全部 阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
Python数据分析速成笔记(Pandas数据清洗+Matplotlib可视化+实战案例)
. s* Z, r2 T  k1 a$ B9 O- A2 J4 W2 g! `. @
内容概述:本资料为本人学习整理的原创笔记,共 6 章 + 附录,约 30 页。覆盖 Python 数据分析全流程:数据读取(CSV/Excel/中文编码处理)→ 数据初探与清洗(缺失值、重复值、类型转换、异常值处理)→ 数据筛选与分组聚合(loc/iloc、groupby、agg 常用组合)→ 时间与字符串处理 → Matplotlib 可视化模板(柱状图、折线图、箱线图、散点图、热力图,含中文字体配置与图表规范)→ 一个完整实战案例(租房信息数据清洗与可视化分析,从原始 CSV 到结论输出)。附录整理 10 个高频报错及修复方法(中文乱码、SettingWithCopyWarning、KeyError、类型转换失败等)和四张常用操作速查表。所有代码均经本人环境实测可运行,关键步骤附注释与每一步的 shape 检查说明。
$ }! b( I1 g  [$ t$ r' P" u$ I7 F# O& T
适用人群:1)正在学期数据分析、Python 数据处理课程的同学,可当期末复习提纲;2)准备数据分析/大数据岗位实习面试,需要快速补齐 Pandas 实操的应届生;3)零基础转行、不想死磕语法、只需要看懂代码并改参数的学习者。
! k, n6 B# |# {9 s8 l: W' c4 G" v- A2 ]% i, [
使用方法:建议按章节顺序边看边敲,每章末尾的代码块可直接复制到 Jupyter Notebook 运行;第 6 章实战案例可替换成自己的 CSV 数据练手。若只想应急,优先看第 2、3 章(清洗与聚合)和附录报错速查,能覆盖 80% 的日常需求。/ n8 ?" w( H/ ]% T
3 t/ u9 i1 L" g: o
附:附件首页即目录,可按目录快速定位;重要表格与代码均已排版为可直接照敲的格式。附件就是咱们刚才说的这份完整Python Pandas数据分析实战笔记(Word文档),就是你要上传的文件,我直接把完整内容给你,你复制粘贴到Word里保存,这个就是上传用的附件:
+ o4 p# m" `( u 8 q. K7 p' h/ X, c# h5 J* r9 p2 p6 @2 k
【电子信息】Python Pandas数据分析实战笔记|租房信息采集与可视化项目" Q% s/ \# A; [
' W0 C8 q3 L4 A+ t+ E
目录
1 @' W# v6 d' Q; m+ [ ' g2 h# Z0 Q% W" Q3 B
第1章 Pandas基础与数据读取7 l6 @/ b7 {& ^9 t: ~
第2章 数据清洗) A9 E; O" I2 G& k& n
第3章 数据筛选、分组与聚合8 p' u( W0 q' K) O" X) ^5 ~
第4章 字符串、时间格式处理
- V! g8 I5 b3 z" `" F% F0 G第5章 Matplotlib基础可视化" \# h  r4 q, I3 a. s( l# l2 e, j
第6章 实战:租房信息采集与可视化(毕设同款项目)1 L& b- Z0 O4 B: i1 F# n1 ^. v
附录A 常见报错速查2 q6 P" `( F' m- I/ Z: D3 G
附录B Pandas高频函数速查表8 ]+ G) V' V, l$ v% m+ N* L( y
附录C 配套练习题+参考答案0 g# v  \; |0 L8 |3 F" E3 k* F- h
2 O5 ?9 X. \+ ~) S; m" U0 I
" g, V+ O* Q8 ~
2 U5 y1 O! a0 V
第1章 Pandas基础与数据读取
6 G# |3 P; s0 \
) y  z, ?# f7 }7 c1.1 环境准备
8 B- Z  S; D& K  z8 n0 X5 H: @ $ T5 q$ k$ a2 k
安装依赖包
; e% D9 [! I, x+ E% ~! u  l' \ : E/ B: r: j' W
python# X; U9 J& U( N& b& N* _
    I' Q& g1 t9 m' l
pip install pandas matplotlib
5 p3 Q- i6 C$ |, K" o ' o" o  U- w* H

3 C. w5 }* z8 f" Y导入库
, |) _$ V0 L  j8 l
/ @. |' c" f$ r2 w7 }  l! d0 Apython
' @8 R: }& J9 c2 ^* T' T, U- L  
9 F4 I% p6 |/ H* Uimport pandas as pd7 J+ C  q0 \$ @; K0 K, u3 U
import matplotlib.pyplot as plt
2 D/ U( X+ V/ d5 h  S9 u" V8 Y4 B9 K# 设置中文,防止图表乱码
- P' ]/ ]* L' ?. k4 V5 F4 cplt.rcParams["font.sans-serif"] = ["SimHei"]
# q5 t9 s" r+ T3 m; nplt.rcParams["axes.unicode_minus"] = False
/ ~* C* g# t& T: G$ B4 @ ; h! Z! v6 j, e% @8 \" h
/ R" h( p2 B5 Q$ A" y9 S) k; G& w! u
1.2 两大核心结构9 D- r( {2 L# I2 q" O& O

& ~0 e5 \9 Y! p5 b  Y5 Y* Z- Series:一维序列,类似一列: ]" m4 n. Q2 d' m2 A
- DataFrame:二维表格,就是我们最常用的表结构# I. u2 f/ l, i3 B1 W
; O- i$ a& p  h& V$ }( N% g
1.3 读取外部文件' G* [# o# @- w( j: s; Y; x

" X, W: X5 ]7 ~python
, R3 ~4 r3 j  g. R4 `' j1 r* [  6 @5 o! V7 {" i$ U) T8 \% O* }
# 读取csv+ `% H* y8 {$ v2 _* @5 l
df = pd.read_csv("house.csv")
4 e+ ?: J, d, E2 w# 读取excel,需要安装openpyxl9 p) U1 o2 ~' C
df = pd.read_excel("house.xlsx")- u# f" H$ @/ q
# 查看前5行
+ h  x0 \& p2 M2 y! j3 Mprint(df.head())
* n( n5 {1 p, h2 P+ A  V, U# 查看基础信息# S4 N7 ~( V" ]( }& y- Z
print(df.info())- g# E6 m% ?: a: `$ v6 q
# 查看统计描述: i8 m8 H# a: g5 f8 y6 N
print(df.describe())
& g3 n' D9 j2 C8 ?: n
1 x; m* u5 t( p: n8 J2 ~# ]
5 X- R: b; B- n8 g1.4 基础查看命令( M) O* Z1 g6 M' F4 d9 x4 O5 s
% \; v# ]3 }! n
python% Y5 M( `$ g4 j0 M. a
  
1 z4 s/ o+ v3 bdf.shape  # 行数、列数- z) F0 v; |' x
df.columns # 全部列名, J! s5 U6 u) l' y! z0 P
df.dtypes # 每一列数据类型
$ h3 A; s2 C& T" S0 Z
, z$ c9 P: p& ?) v . F# M# F, N4 t, d! {9 V
7 \8 i0 ^' _6 j" s( ]$ P; R

2 I- G* W" O' i第2章 数据清洗+ y' c, {1 g1 B& r. P$ c
; A) C- z! Q6 T+ F: L
数据清洗是数据分析最耗时的环节,目标:处理缺失值、重复值、异常值
0 x" L5 m2 t, x0 a- f
4 l  }/ G- _. {8 d! g8 opython
# M1 t  k2 l, _( Q' D  
: I  r# f$ Q; R* ?; J# 检查缺失值" M' }. d# {! S) f' [0 s5 |- O
df.isnull().sum()7 R! b$ y& N. [6 a7 M1 b
# 删除存在缺失的行$ }& K$ w! G+ X9 @. I- n: E
df = df.dropna()3 }% k& c# F/ {  A$ k
# 填充缺失值(均值填充)
- h5 X8 f" t2 ^% V1 Kdf["price"] = df["price"].fillna(df["price"].mean()): l* m2 d; v5 n7 \2 A! x6 U. \2 v
9 e# p' @2 r4 e) W% u' A) ]
# 删除重复行  h# U* K/ N! T% |$ }+ |
df = df.drop_duplicates()
. f5 }$ k$ k4 O6 @# r  `. T5 H( ]8 i* I6 r
# 筛选异常值:房租大于0' @+ O& c! e& w, g2 Y# w
df = df[df["price"] > 0]
6 @# F4 p7 y/ Z" e, U
9 X7 U% u6 U4 |" y8 _
* N( u* B$ U/ u1 Y8 F! D笔记说明:租房数据里经常会有空租金、重复爬虫数据,这几段是项目里高频代码。
" ?6 I2 @  ]6 h5 }# _
9 e6 ?! k  b* N( f. ?' ~
- ]# `9 ?9 ?- S ; x- _3 T2 A- i6 }0 L6 O
第3章 数据筛选、分组与聚合
$ |- o: L  p2 |, {! b
" t% V: {; C! H! {- L9 X3 n/ k' l3.1 条件筛选
* g% ^3 u) q8 e2 E" n5 z! } & s0 X& J1 A7 d. B) w- U# C
python
# m6 x9 G3 v; C0 x* k  ' z) ]# O' N) c4 D  }) B
# 筛选租金小于2000的房源
6 k9 ~4 n: s+ T  Q- }df_cheap = df[df["price"] < 2000]
& o* s; f2 d4 t3 p4 S) {' t( W; X# 多条件筛选:2000以内 + 朝南
1 U0 h3 f0 z! Y$ ]8 x7 Zdf_filter = df[(df["price"]<2000) & (df["direction"]=="朝南")]
% ~& _# J0 n# i8 R " [" F! h! ?% K
, ~: O8 m* U0 I# |  X% P: g" E
3.2 groupby分组聚合7 s+ G9 E( o9 r( c

7 m& J( S. B7 ]0 Epython
' C( i/ h: _4 C; u: k  i  
: f- F+ b4 E" ]" R3 A/ M# 按区域分组,求各区平均租金
$ m' F4 H$ G+ Y- K6 q6 i( Karea_avg = df.groupby("area")["price"].mean().reset_index()& G; }* L0 z' r3 \$ k% c
# 统计每个区域房源数量( D/ k1 d) V2 v; Q% Y
area_count = df.groupby("area").size().reset_index(name="count")
' ^3 r9 v1 s5 z5 Z$ F( ?; u1 Y & x' {# z; g! b" ]: T6 d% ~$ A
4 }% c6 N2 v% v9 T
* I' F/ E+ v) f

* k4 Q% G( E7 V; e$ Z' G! u( E& L第4章 字符串、时间格式处理2 M) s# q2 |: N5 ^% g; c8 n

! c: P6 `: p( G' J0 M* n4.1 字符串处理(拆分户型、面积)
: O. A5 _! H8 d* w1 v; q& Z & f" ?, p7 Z" h: Q
python
9 q% O2 q+ h5 W& j6 ^  2 e$ x8 v. F, ]' ?- E
# 提取面积数字,例如"65㎡"提取65
  T5 E6 ]5 ~' f) v$ G: n7 B$ Ydf["area_num"] = df["size"].str.extract("(\d+)").astype(float)
" x# b, J. W. w) L
! B  s. l! p( [. ^( \! G/ t4 m
+ h- X. P2 F, P- A9 b8 T! r4.2 时间转换
( i% A: g/ @+ I8 l, U# ? ! H- D4 ^) t5 v$ B7 o3 v# F; {
python, P& a+ Y6 X* J! X: n$ W% p3 B% d
  
3 v8 `" Z6 A, X3 H/ \$ A# 字符串转时间格式/ ~/ _0 y4 g. w% _; s; A
df["publish_time"] = pd.to_datetime(df["publish_time"])
: R" x; v3 F. C7 I+ ^# 提取月份6 v* g! A) S  f, `: \
df["month"] = df["publish_time"].dt.month
/ G+ o" C9 g1 ]# K
% n+ i- A  w* ~; d
  R% d/ R+ ]: ]
& j2 f# b& S" ~3 n/ {% H
/ F, w. S+ Q, t; h. }  L; f第5章 Matplotlib基础可视化
, B- A1 @; j6 v) V$ z 8 g; f* F! e0 @; b% B7 ~& w+ m
python9 U/ ?8 Z, `: l+ R# T/ Z) }
  
" z( i0 `* T$ q& E( }# 绘制各区平均租金柱状图
6 {; F. I2 x9 \1 pplt.figure(figsize=(10,5))! Q5 z+ q) H# M7 u# t1 X5 t
plt.bar(area_avg["area"], area_avg["price"])
) O1 g! s& U( F/ lplt.title("各区域租房平均租金"): b7 P3 A/ v' u/ Y$ C
plt.xlabel("区域")
8 k0 i% [  N7 q# |% y# d% T& O7 Yplt.ylabel("平均租金(元)")
1 c# S, z* z: aplt.xticks(rotation=45)
2 {" ~# x5 a; Z2 wplt.tight_layout()
2 H0 E! ~/ b! o6 \1 Kplt.show()
, G0 c; h: c3 r4 o4 |0 ]
) E6 e6 @! R- w5 B# _ " q" T' Z7 Q( K0 D4 E
# A5 `, L. O7 r' U$ p5 t
5 i" b  _1 ^0 E: l
第6章 实战:租房信息采集与可视化(毕设项目)% v1 D: ]  h/ c7 K) }9 B

3 }9 G. g/ A6 w0 d6 L  W0 \! F3 T项目背景:本项目为大数据专业课程设计/毕业设计简易版本,实现租房数据读取、清洗、统计、可视化,可扩展Flask网页展示。7 N) w0 t  k# g- c' X/ @2 ]

6 d. L1 {2 n% V' r  O; dpython1 K8 @& c! z- v4 q. h4 B
  
7 ^' f3 X$ H) D  g& r' Fimport pandas as pd3 M. ~1 U. A+ L* P
import matplotlib.pyplot as plt) A8 x5 R9 ]8 f9 k$ V" L
8 c/ ?2 U1 ?) w. H
plt.rcParams["font.sans-serif"] = ["SimHei"]
" n1 Q  k7 a  N0 G0 J) G0 E4 Pplt.rcParams["axes.unicode_minus"] = False  ?+ w% o! Q7 _7 Q& \$ L* r7 E
. f, ?  Z% b7 z8 x! u! o7 E
# 1.读取数据8 j. Y7 u  y- A: Q0 T7 m
df = pd.read_csv("house.csv")
6 S! Z# i- ~; z& S. V# 2.清洗
( M9 s- b% Z/ T$ w/ Edf = df.dropna()
/ p( y7 n" u8 udf = df.drop_duplicates()' c) [( \$ C( b, x  M2 y
df = df[df["price"]>0]
( m; ?( i3 j& c: Y8 X% d# 3.分组统计
. }. J. j% `1 a$ M6 g' c. C8 Zres = df.groupby("district")["price"].agg(["mean","count"]).reset_index()
5 Z( O6 C5 z. k' ?- Hres.columns = ["区域","平均租金","房源数量"]
% }* M0 }7 K, ?4 `# 4.绘图
$ E+ X0 S4 U- J4 }! A9 C7 C9 ?3 }plt.figure(figsize=(12,6)), O8 }2 s/ l1 `$ |# o3 x) [( h
plt.bar(res["区域"], res["平均租金"], color="#4472C4")
  }1 W: I4 t3 m% j/ h% oplt.title("武汉各区域租房均价统计"); B/ J/ o0 `% X
plt.ylabel("均价")& U/ Q5 i2 f8 N; P9 A1 o  E% ?  x! k
plt.xticks(rotation=45)+ [4 n) ^. `$ h7 M. D
plt.tight_layout()4 g6 E: X* h9 `7 V
plt.show()0 \+ s3 ~0 A3 b- B5 T5 \
# 5.输出结果$ |: r- j0 _5 t) Y: ?4 d0 I
print(res)
4 a  C: H" I6 l8 b4 y $ Q6 x6 Q, h% v7 v# Y1 I8 d4 e

: C- `" P8 w" _拓展方向:
4 b) H6 \! V& q; O7 c4 M; B* _5 E, b - F, G' N3 Q3 z; z+ \4 ~: d
1. 接入爬虫获取实时房源' K* k" N6 w: d: ^+ D
2. 使用Flask搭建网页可视化页面
# q, g: k* J" }6 H; u; i9 C3. 增加租金分布直方图、箱线图: [0 a) q0 N3 ~1 S% i
2 z: l0 h4 A" d" _% F

4 b& ~. F5 G  s! s" ? # U& O/ X) [: T% n* B' V
附录A 常见报错速查! f0 s6 ]" ]7 ~& L/ m& H$ a

$ V5 \2 C8 o$ z/ x- \( g1.  ModuleNotFoundError: No module named 'pandas'  → 没有安装包,执行pip install
. I* x, E, V, u: l/ l, F' j! T" L2 x2. 中文方框乱码 → 缺少字体设置代码,复制字体那两行
6 {! W1 J) q2 {6 t3 f: d$ M3.  ValueError: cannot convert float NaN to integer  → 数据存在空值,先dropna或者fillna
+ S0 V$ b- g. [4 ~4. 索引对齐报错 → 检查分组、筛选的时候有没有空数据5 t; F: p# y; R# ?  i, G
* o0 V- u6 |  Q$ q
附录B Pandas高频函数速查表
) E2 U# v$ h) C4 ~ ; B+ i1 e% n* b/ l" D
功能 代码
; s1 K! v0 u6 r6 ?9 N+ N" @% Z读取csv pd.read_csv() 5 ]3 w& B- E4 d6 M
空值检查 isnull().sum()
- F5 g, i. y/ Q删除重复 drop_duplicates()
8 A' {/ T- D% |$ b分组 groupby()
6 }( x6 s7 j5 B4 C8 g排序 sort_values()
. N3 i8 P8 s4 z3 m保存结果 to_csv()
& H( X4 J+ A5 t# S6 }5 @2 S/ y- O# J
4 S3 m) ^" o3 n( {0 {附录C 配套练习题+参考答案
! d0 }' i8 |$ x% M/ y& Y , U4 ^. m5 x1 R6 {+ Q# K) Y
1. 题目:筛选租金1500-3000之间的房源6 t; E/ h: c0 G* w: R
参考答案:$ y* p& F" ]9 I% b/ F  x$ [

) s3 d( ~" }' V. Qpython! Q: @. [* e) {  ]* M6 _
  2 G* G( R8 p9 G. G
df_new = df[(df["price"]>=1500)&(df["price"]<=3000)]6 f7 ]8 k& v: ^; N
2 k- M( n) _+ ]; e5 \4 ^( D, o: S

. C2 D* x6 F; A2. 题目:按户型分组,统计房源数量7 }7 D$ V- s0 B. K6 Q" l, }* r
参考答案:
# Q& \) r0 h9 s' \, i) r+ m. L
- B$ R; D$ |: Rpython
& k4 x0 b$ ?( U& o8 v  + {/ z9 o# V  r; t: e
df.groupby("house_type").size
$ J- \0 `) Y! J( K1 R' D; U8 Y " \1 W4 W" r! m
7 N; e! M  X. k% Z& D
* ?# |, b9 B8 ^
Python数据分析速成笔记(Pandas数据清洗+Matplotlib可视化+实战案例)
6 p. @" O5 Y& M3 i) }) r6 [) d: X+ f/ L! _% u% U- r% X) g9 r
6 z% ~* M7 Q5 ^$ u- n6 T6 A
内容概述:本资料为本人学习整理的原创笔记,共 6 章 + 附录,约 30 页。覆盖 Python 数据分析全流程:数据读取(CSV/Excel/中文编码处理)→ 数据初探与清洗(缺失值、重复值、类型转换、异常值处理)→ 数据筛选与分组聚合(loc/iloc、groupby、agg 常用组合)→ 时间与字符串处理 → Matplotlib 可视化模板(柱状图、折线图、箱线图、散点图、热力图,含中文字体配置与图表规范)→ 一个完整实战案例(租房信息数据清洗与可视化分析,从原始 CSV 到结论输出)。附录整理 10 个高频报错及修复方法(中文乱码、SettingWithCopyWarning、KeyError、类型转换失败等)和四张常用操作速查表。所有代码均经本人环境实测可运行,关键步骤附注释与每一步的 shape 检查说明。& i7 S) y2 k% C! Y( S

  B5 h, j! a- O- S$ A适用人群:1)正在学期数据分析、Python 数据处理课程的同学,可当期末复习提纲;2)准备数据分析/大数据岗位实习面试,需要快速补齐 Pandas 实操的应届生;3)零基础转行、不想死磕语法、只需要看懂代码并改参数的学习者。0 ^# H% v! c9 Q3 m- }: P

. V4 _, y& R' w6 j6 A使用方法:建议按章节顺序边看边敲,每章末尾的代码块可直接复制到 Jupyter Notebook 运行;第 6 章实战案例可替换成自己的 CSV 数据练手。若只想应急,优先看第 2、3 章(清洗与聚合)和附录报错速查,能覆盖 80% 的日常需求。9 X9 D% e  @+ R( R
- C' M' p  g% T; ~
附:附件首页即目录,可按目录快速定位;重要表格与代码均已排版为可直接照敲的格式。5 ]; H' P; J- }  P0 f0 ^
Python数据分析速成笔记1794645398_1.png
Python数据分析速成笔记1794645398_2.png
Python数据分析速成笔记1794645398_3.png
Python数据分析速成笔记1794645398_4.png
Python数据分析速成笔记1794645398_5.png
Python数据分析速成笔记1794645398_6.png
Python数据分析速成笔记1794645398_7.png
Python数据分析速成笔记1794645398_8.png
Python数据分析速成笔记1794645398_9.png
Python数据分析速成笔记1794645398_10.png
Python数据分析速成笔记1794645398_11.png
Python数据分析速成笔记1794645398_12.png
Python数据分析速成笔记1794645398_13.png
Python数据分析速成笔记1794645398_14.png
Python数据分析速成笔记1794645398_15.png
Python数据分析速成笔记1794645398_16.png
Python数据分析速成笔记1794645398_17.png
Python数据分析速成笔记1794645398_18.png
回复 转播

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

学研领航向全体高校师生打造的一站式综合交流与资源服务平台,集知识学习、经验分享、资源下载、互动问答、职场成长、兼职实践于一体,覆盖校园生活、专业学习、求职就业、兴趣发展等全场景需求。

快捷导航

小黑屋
Copyright © 2026 学研领航 版权所有 陕ICP备2025077879号-1
关灯 在本版发帖 返回顶部
快速回复 返回顶部 返回列表