企业网站优化官网,神农架网站设计,网站软件开发招聘,wordpress直链视频Pandas是Python的核心数据分析支持库#xff0c;提供了快速灵活、明确的数据节后#xff0c;旨在简单、直观地处理关系型、标记型数据。Pandas的目标是称为Python数据分析时间与实战的必备高级工具#xff0c;其长远目标是称为最强大、最灵活#xff0c;可以支持任何语言的…Pandas是Python的核心数据分析支持库提供了快速灵活、明确的数据节后旨在简单、直观地处理关系型、标记型数据。Pandas的目标是称为Python数据分析时间与实战的必备高级工具其长远目标是称为最强大、最灵活可以支持任何语言的开源数据。
Pandas适用于处理以下类型的数据
与SQL或Excel表类似的含异构列的表格数据有序和无序非固定频率的时间序列数据带行列标签的矩阵数据包括同构或异构数据任意其它形式的观测、统计数据集数据转入Pandas数据结构时不必事先标记。
Pandas的优势
处理浮点与非浮点数据里的缺失数据表示为NaN大小可变插入或删除DataFrame等多维对象的列自动、显式数据对齐显式地将对象与一组标签对齐也可以忽略标签在Series、DataFrame计算时自动与数据对齐强大、灵活的分组功能拆分-应用-组合数据集聚合、转换数据把Python和Numpy数据结构里不规则、不同索引的数据轻松地转换为DataFrame对象基于智能标签对大型数据集进行切片、花式索引、子集分解等操作直观地合并merge、连接join数据集灵活地重塑reshape、透视pivot数据集轴支持结构化标签一个刻度支持多个标签成熟的IO工具读取文本文件csv、Excel文件、数据库等来源的数据利用超快的HDF5格式保存、加载数据时间序列支持日期范围生成、频率转换、移动窗口统计、移动窗口线性回归、日期位移等时间序列功能。一、文件读取与写入
1.读取与写入
常见的文件格式有csv、txt、xls、xlsx格式
#读取csv
df pd.read_csv(data/table.csv)
#读取txt
df_txt pd.read_table(data/table.txt) #可设置sep分隔符参数
#读取xls或xlsx
df_excel pd.read_excel(data/table.xlsx)
#写入csv
df.to_csv(data/table.csv)
#写入xls或xlsx
df_excel.to_excel(data/table.xlsx)
二、基本数据结构
Pandas的两种数据类型Series是带标签的一维数组可存储整数、浮点数、字符串、Python对象等类型的数据。轴标签统称为索引Data是由多种类型的列构成的二维标签数据结构支持一维和多维数据输入还可以有选择人地传递index和columns参数。
1.Series
对于一个Series常用的属性为值values索引index名字name类型dtype
s pd.Series(np.random.randn(5),index[a,b,c,d,e],name这是一个Series,dtypefloat64)
print(s.name)
print(s.values)
print(s.index)
print(s.dtype)2.DataFrame
创建一个DataFrame
df pd.DataFrame({col1:list(abcde),col2:range(5,10),col3:[1.3,2.5,3.6,4.6,5.8]},indexlist(一二三四五))#从DataFrame取出一列为Series
print(df[col1])
print(type(df))
print(type(df[col1]))#修改行或列名
df.rename(index{一:one},columns{col1:new_col1})#DataFrame的属性和方法
print(df.index)
print(df.columns)
print(df.values)
print(df.shape)
print(df.mean())
索引对齐特性
df1 pd.DataFrame({A:[1,2,3]},index[1,2,3])
df2 pd.DataFrame({A:[1,2,3]},index[3,1,2])
df1-df2 #由于索引对齐因此结果不是0
列的删除与添加drop或pop、del和直接增加、assign
df pd.DataFrame({col1:list(abcde),col2:range(5,10),col3:[1.3,2.5,3.6,4.6,5.8]},indexlist(一二三四五))
#删除
#drop
df.drop(index五,columnscol1)
#del
df[col1][1,2,3,4,5]
del df[col1]
#pop
df[col1][1,2,3,4,5]
df.pop(col1)#直接增加列以索引为准
df1[B]list(abc)
#用assign不会对原DataFrame修改
df1.assign(Cpd.Series(list(def)))
三、常用基本函数
1、head和tail
head是默认展示df的前5行可通过head(10)展示第十行
tail是默认展示df的后5行可通过tail(10)展示第十行
2.nunique和unique
nunique显示有多少个唯一值
unique显示所有的唯一值
3.count和value_counts
count返回非缺失值元素个数
value_counts返回每个元素有多少个
4.describe和info
describe默认统计数值型数据的各个统计量可以自行选择分位数
info函数返回有那些列有多少非缺失值、每列的类型
5.idxmax和nlargest
idxmax函数返回最大值所在索引在某些情况下特别适用idxmin功能类似¶
nlargest函数返回前几个大的元素值nsmallest功能类似
6.clip和replace
clip是对超过或者低于某些值的数进行截断
replace是对某些值进行替换¶
7.apply函数
df[Math].apply(lambda x:str(x)!).head() #可以使用lambda表达式也可以使用函数df.apply(lambda x:x.apply(lambda x:str(x)!)).head() #这是一个稍显复杂的例子有利于理解apply的功能
四、排序
1.索引排序
df.set_index(Math).head() #set_index函数可以设置索引
df.set_index(Math).sort_index().head() #可以设置ascending参数默认为升序True
2.值排序
#单值排序
df.sort_values(byClass).head()
df.sort_values(by[Address,Height]).head()
练习
