Dataframe取差集你记牢了吗?

本文介绍了使用Python的Pandas库高效地对两个DataFrame进行差集运算的方法,避免了传统循环遍历的低效方式。通过append和drop_duplicates函数组合,实现从df1中过滤掉在df2中存在的行,适用于大数据量场景。

哇,时间好快一个多月没更新文章了,在这一个月里发生了很多事也是没有太多时间。不过我胡汉三又回来了,哈哈,,,

废话不多说,今天我要记录一个很容易用到的知识点。就是取两个dataframe的差集,遇到这个情况我第一个想到的是循环遍历,然它一一匹配,但是慢慢我觉得小数据的速度还行,但是数据量大了以后可能会比较繁琐。不停扒网页我发现的确有简单方法:

df1 = DataFrame([['a', 10, '男'], ['b', 11, '男'], ['c', 11, '女'], ['a', 10, '女'], ['c', 11, '男']], 
columns=['name', 'age', 'sex']) 

df2 = DataFrame([['a', 10, '男'], 
                 ['b', 11, '女']],
                columns=['name', 'age', 'sex'])

取交集:print(pd.merge(df1,df2,on=['name', 'age', 'sex']))

取并集:print(pd.merge(df1,df2,on=['name', 'age', 'sex'], how='outer'))

取差集(从df1中过滤df1在df2中存在的行):

df1 = df1.append(df2)
df1 = df1.append(df2)
df1 = df1.drop_duplicates(subset=['name', 'age', 'sex'],keep=False)
print(df1)

参考:https://blog.csdn.net/qq_40981268/article/details/85957177

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值