购物网站建设和使用,徐州html5响应式网站建设,做个app平台需要多少钱,东莞建设网雅园新村第20期名单公文章目录 前言1、dedup()去重并排序2、traverse()拆分嵌套数组3、filter()数据筛选4、groupby()分组运算5、select()遍历结果集6、sort()数据排序 总结 前言
在 Python 的数据处理方面经常会用到一些比较常用的数据处理方式#xff0c;比如pandas、numpy等等。
今天介绍的这… 文章目录 前言1、dedup()去重并排序2、traverse()拆分嵌套数组3、filter()数据筛选4、groupby()分组运算5、select()遍历结果集6、sort()数据排序 总结 前言
在 Python 的数据处理方面经常会用到一些比较常用的数据处理方式比如pandas、numpy等等。
今天介绍的这款 Python 数据处理的管道数据处理方式通过链式函数的方式可以轻松的完成对list列表数据的处理。通过类似于shell编程中的管道符对处理条件进行筛选从而更快速的完成对数据的处理操作。
由于pipe是第三方提供的非标准库所以需要使用pip的方式进行安装。
pip install pipe -i https://pypi.tuna.tsinghua.edu.cn/simple/# Importing the pipe module.
import pipe# Importing the pprint function from the pprint module.
from pprint import pprint
关于pipe提供的数据处理函数主要包含六种分别是dedup()、traverse()、filter()、groupby()、select()、sort()通过函数间的不同组合可以完成不同的数据处理效果。
1、dedup()去重并排序
数据去重比较好操作就是去除一个列表中的重复数据如果是数字类型的list列表可以对原始值进行去重也可以对其绝对值进行去重操作。
list\_ (\[-6, -5, 0, 1, 5, 5\] |pipe.dedup |pipe.Pipe(list)
)pprint(list\_)# \[-6, -5, 0, 1, 5\]
也可以通过设置dedup()函数的属性对绝对值进行去重操作。
list\_ (\[-6, -5, 0, 1, 5, 5\] |pipe.dedup(keyabs) |pipe.Pipe(list)
)pprint(list\_)# \[-6, -5, 0, 1\]
2、traverse()拆分嵌套数组
为了展示效果我创建了一个多重数组的列表通过使用traverse()函数完成拆分。
list\_ (\[-1, 0, \[2, 4, \[5, 6, \[3, 2, 5\]\]\]\] |pipe.traverse |pipe.Pipe(list)
)pprint(list\_)# \[-1, 0, 2, 4, 5, 6, 3, 2, 5\]
从结果发现已经将我们定义的一个四层的list列表完全的拆分了。
3、filter()数据筛选
创建一组list列表数据并筛选出列表中的值大于10的数据并返回筛选后的列表数据。
list\_ (\[-1, 0, 1, 2, 4, 6, 10, 11, 12, 15, 17, 18\] |pipe.filter(lambda a: a 10) |pipe.Pipe(list)
)pprint(list\_)# \[11, 12, 15, 17, 18\]
4、groupby()分组运算
创建一个包含属性姓名、年龄、班级的list列表然后可以按照某一个属性对其完成分组。
list\_ (\[{姓名: Pytonh,年龄: 19,班级: 1710},{姓名: Pytonh,年龄: 20,班级: 1810}\] |pipe.groupby(lambda item: item\[姓名\]) |pipe.Pipe(list)
)pprint(list\_)# \[(Pytonh, itertools.\_grouper object at 0x003EE6B8)\]
这时虽然返回了分组的结果但是没有对其进行运算此时可以搭配下面的select()函数完成运算。
5、select()遍历结果集
使用上一步中分组出来的数据结果使用select函数参与运算计算出姓名为’Python 集中营’的结果有多少。
list\_ (\[{姓名: Pytonh ,年龄: 19,班级: 1710},{姓名: Pytonh ,年龄: 20,班级: 1810}\] |pipe.groupby(lambda item: item\[姓名\]) |pipe.select(lambda groups: {groups\[0\]: len(list(groups\[1\]))}) |pipe.Pipe(list)
)pprint(list\_)# \[{Pytonh : 2}\]
6、sort()数据排序
sort函数的排序使用相对于分组来说就更简单了同样创建一组列表数据来展示效果。
list\_ (\[-1, 2, 5, 7, 9\] |pipe.sort(reverseTrue) |pipe.Pipe(list)
)pprint(list\_)# \[9, 7, 5, 2, -1\]
sort函数的reverse属性设置为True的时候为降序排序设置为False时则为升序排序。
list\_ (\[-1, 2, 5, 7, 9\] |pipe.sort(reverseFalse) |pipe.Pipe(list)
)pprint(list\_)# \[-1, 2, 5, 7, 9\] 总结
提示这里对文章进行总结 例如以上就是今天要讲的内容本文仅仅简单介绍了pandas的使用而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
