Pandas提供了duplicated、Index.duplicated、drop_duplicates函数来标记及删除重复记录
duplicated函数用于标记Series中的值、DataFrame中的记录行是否是重复，重复为True，不重复为False
pandas.DataFrame.duplicated(self, subset=None, keep='first', inplace='True')
pandas.Series.duplicated(self, keep='first')
其中参数解释如下：
subset：用于识别重复的列标签或列标签序列，默认所有列标签
keep=‘frist’：除了第一次出现外，其余相同的被标记为重复
keep='last'：除了最后一次出现外，其余相同的被标记为重复
keep=False：所有相同的都被标记为重复
drop_duplicates函数用于删除Series、DataFrame中重复记录，并返回删除重复后的结果
pandas.DataFrame.drop_duplicates(self, subset=None, keep='first', inplace=False)
pandas.Series.drop_duplicates(self, keep='first', inplace=False)
inplace=True, 表示直接在原来的df做处理, 否则是返回一个copy