B站14天数据分析笔记3次课Pandas

#Pandas/Python Data Analysis Library
#导入
import pandas as pd
import numpy as np

#基本数据结构

#一维数组 Series 类似array/list 与array差别: 能保存不同类型的数据 左闭右闭的区间
a=pd.Series([1,2,3,np.nan],index=[\'a\',\'b\',\'c\',\'d\']) #自定义索引类型
a
#查看索引
a.index #  输出Index([\'a\', \'b\', \'c\', \'d\'], dtype=\'object\')
#查看值
a.values # array([ 1.,  2.,  3., nan])
a[3]
#切片
a[::2]
#索引列命名
a=pd.Series([1,2,3,np.nan])
a.index.name=\'索引\'
#后续索引赋值
a.index=list(\'abcd\') #索引与数据项的个数一致 
#左闭右闭
a[\'a\':\'c\']
#-------------------------------------------
#二维 dataframe数据表
date=pd.date_range(\'20180101\',periods=6)
#索引行index 索引列columns
df=pd.DataFrame(np.random.randn(6,4),index=date,columns=list(\'abcd\'))
df.index.name=\'日期\'
df
#字典传入数据 key作为索引
df2=pd.DataFrame({\'A\':1,\'B\':pd.Timestamp(\'20181001\'),\'C\':pd.Series(1,index=list(range(4)),dtype=float),\'D\':np.array([3]*4,dtype=int),\'E\':pd.Categorical(["test","train","test","train"]),\'F\':\'abcd\'})
df2

#查看遍历数据
#行查看
df2.head()#默认为5
df2.tail(3)#最后3行#默认为5
#下标 列标 数据
df.index
df.columns
df.values

#数据读取与操作
df=pd.read_excel(\'豆瓣电影数据.xlsx\')
df.head()

#行操作
df.iloc[0]
df.iloc[0:5]#左闭右开
df.loc[0:5]#左闭右闭


dit={\'名字\':\'复仇者联盟3\',\'投片人数\':123456,\'类型\':\'剧情/科幻\',\'产地\':\'美国\',\'上映时间\':\'2018-05-4 00:00:00\',\'时长\':142,\'年代\':2018,\'评分\':9.9}
s=pd.Series(dit)
s.name=38738
s
df=df.append(s) #传入一行属性一定要对齐
df=df.drop([38738])#选定某行的index值
df[-5:]

#列操作
df.columns
df[[\'名字\',\'类型\']][:5] #list的对象

#增加列
df[\'序号\']=range(1,len(df)+1) #range(a,b) 左闭右开
df[:5]

#删除列
df=df.drop(\'序号\',axis=1) #维度/轴 行默认为0 列为1
df[:5]
#--------------------------------------
#通过标签选择数据 df.loc[[index],[column]]
df.loc[1,\'名字\'] #[行,列]
df.loc[[1,3,5,7,9],[\'名字\',\'评分\']]

#条件选择
df[df[\'产地\']==\'美国\'][:5] #产地为美国的电影

df[(df[\'产地\']==\'美国\')&(df[\'评分\']>9)] #产地为美国且评分大于9
df[(df.产地==\'美国\')&(df.评分>9)][:5]

df[((df.产地==\'美国\')|(df.产地==\'中国大陆\'))&(df.评分>9)]

#缺失值 异常值处理 数据清洗

#缺失值 删 填 判断
df[df[\'名字\'].notnull()]

#填充
df[df[\'投片人数\'].isnull()][:10]
df[\'投片人数\'].fillna(np.mean(df[\'投票人数\']),inplace=True)
df[df[\'投片人数\'].isnull()]

#删除
# df.dropna() 
#how=\'all\' 删除全为空值的行或列
#inplace=True 覆盖
#axis=0 选择行或列
print(len(df))
df2=df.dropna()
print(len(df2))
df3=df
df3.dropna(inplace=True)
print(len(df3))

#处理异常值/离群点 删除/格式转换
df=df[df.投票人数<0]
df=df[df.投票人数%1!=0]

#数据保存
df.to_excel(\'movie_data.xlsx\')

运行截图