python笔记8:数据处理之去除重复数据

# -*- coding: utf-8 -*-
#1. 概念：把数据结构中，行相同的数据只保留一行。
# 语法： drop_duplicates  该方法返回一个去重后的数据框对象

from pandas import read_csv

df = read_csv("D:/python/workspace/pythonStudy/8.csv")

#找出行重复的位置（索引值）
dIndex = df.duplicated() #返回一列布尔值。如果某行数据没有出现过，则返回False，否则返回True

#找出列重复位置
dIndex = df.duplicated('id') #返回id这一列重复的位置

dIndex = df.duplicated(['id','key']) #这两列同时重复的位置

#根据上面的返回值，把重复数据提取出来                     
df[dIndex]

#删除重复值
#默认根据所有的列，进行删除（当某两行所有列的数据都重复时，会删除其中一行）
newDf = df.drop_duplicates()

#当然也可以指定某一列或多列，进行重复值删除
newDf = df.drop_duplicates("id")
newDf = df.drop_duplicates(["id","key"])