pandas

pandas检查和填充缺失值的N种方法总结

目录 一、构建示例数据 二、检查缺失值的n种方法 2.1 确认是否有缺失值的两种方法 2.2 查看缺失数目和缺失率 2.3 查看非缺失值数目 三、缺失值填充三种示例 一、构建示例数据 import pandas as pd import numpy as np data = {" »

pandas预处理部分地区数据案例

数据清洗的任务是过滤那些不符合要求的数据,将过滤的结果交给业务主管部门,确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同,录入后的数据清理一般是由计算机而不是人工完成。 数据清洗主要是处理缺失数据、重复数据 »

pandas数据聚合与分组运算的实现

数据聚合与分组运算 对数据集进行分组并对各组应用一个函数(无论是聚合还是转换),通常是数据分析工作中的重要环节。在将数据集加载、融合、准备好之后,通常就是计算分组统计或生成透视表。pandas提供了一个灵活高效的gruopby功能,它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。 关 »

Pandas检查dataFrame中的NaN实现

目录 检查Pandas DataFrame中的NaN值 方法1:使用isnull().values.any()方法 方法2:使用isnull().sum()方法 方法3:使用isnull().sum().any()方法 方法4:使用isnull().sum().sum()方法 参考 NaN代表 »

pandas将Series转成DataFrame的实现

目录 1.Series结构 2.将Series转成DataFrame 2.1 使用字典的方式转化 2.2 使用reset_index方法 3.apply,applymap, map 1.Series结构 pandas中,我们使用最多的两个数据结构,分别为Series与DataFram »

pandas中fillna()函数填充NaN和None的实现

填充缺失值和空值的方式有很多种,比如人工填写、热卡填充等,Pandas中的fillna()方法可以实现填充空值或缺失值。 fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, ** »

Pandas出现KeyError的问题解决及分析

目录 写在前面 报错详细信息 问题解决 举一反三 写在前面 今天在用爬虫及Pandas更新股票日线数据的时候发现KeyError报错,后面跟了一个DataFrame列索引,一开始以为是索引修改列的值导致的问题,修改为.loc错误依然出现,后来将列值的内容修改方法改为.apply(lambd »

Pandas中字符串和时间转换与格式化的实现

目录 把字符串转为时间格式 把时间格式化为字符串 格式化某一列的时间为字符串 遇到的错误 使用apply()和lambda函数 Pandas 提供了若干个函数来格式化时间。 把字符串转为时间格式 其中,最常用的是 to_datetime() 函数。 可以使用 to_datetime() »

pandas按某列降序的实现

升序 import pandas as pd import numpy as np data = np.random.randint(low=2,high=10,size=(5,3)) data2 = np.random.randint(low=2,high=10,size=(5,3)) »

Pandas数据分析常用函数的使用

目录 一、数据导入导出 二、数据加工处理 三、列表格式设置 Pandas是数据处理和分析过程中常用的Python包,提供了大量能使我们快速便捷地处理数据的函数和方法,在此主要整理数据分析过程pandas包常用函数,以便查询。更多函数学习详见padans官网 一、数据导入导出 pandas »

Pandas替换NaN值的方法实现

目录 问题 方法 替换 NaN 值的步骤 参考 替换Pandas DataFram中的 NaN 值 问题 NaN 代表 Not A Number,是表示数据中缺失值的常用方法之一。它是一个特殊的浮点值,不能转换为 float 以外的任何其他类型。NaN 值是数据分析中的主要问题之一。为了 »

Pandas数据清洗函数总结

目录 一、drop():删除指定行列 1. 删除指定行 2. 删除指定列 二、del():删除指定列 三、isnull():判断是否为缺失 1. 判断是否为缺失 2. 判断哪些列存在缺失 3. 统计缺失个数 四、notnull():判断是否不为缺失 五、dropna():删除缺失值 »

pandas pd.cut()与pd.qcut()的具体实现

1、pd.cut函数有7个参数,主要用于对数据从最大值到最小值进行等距划分  pandas.cut(x, bins, right=True, labels=None, retbins=False, precision=3, include_lowest=False) 参数: x : 输入待cu »

pandas 实现 in 和 not in 的用法及使用心得

pandas in 和 not in 的用法 经常在处理数据中从一个总数据中清洗出数据, 但是有时候需要把没有处理的数据也统计出来. 这时候就需要使用: pandas.DataFrame.isin DataFrame中的每个元素是否都包含在值中 pandas文档位置 例子: 如何实 »

pandas的apply函数用法详解

目录 1.基本信息 2.语法结构 3.使用案例 3.1 DataFrame使用apply 3.2 Series使用apply 3.3 其他案例 4.总结 1.基本信息 Pandas 的 apply() 方法是用来调用一个函数(Python method),让此函数对数据对象进行批量处 »

python使用xlsx和pandas处理Excel表格的操作步骤

目录 一、使用xls和xlsx处理Excel表格 1.1 用openpyxl模块打开Excel文档,查看所有sheet表 1.2 通过sheet名称获取表格 1.3 获取活动表的获取行数和列数 ◼ 读取xlsx文件错误:xlrd.biffh.XLRDError: Excel xlsx file; »

Python使用pandas导入xlsx格式的excel文件内容操作代码

目录 Python使用pandas导入xlsx格式的excel文件内容 1. 基本导入 2. 列标题与数据对齐 3. 指定导入某个sheet 4. 指定行索引 5. 指定列索引 6. 指定导入列 7. 指定导入的行数 8. 更多的参数 Python使用pandas导入xlsx格式的excel »

python 使用pandas读取csv文件的方法

目录 pandas读取csv文件的操作 1. 读取csv文件 在这里记录一下,python使用pandas读取文件的方法用到pandas库的read_csv函数 # -*- coding: utf-8 -*- """ Created on Mon Jan 24 16:48:32 2022 »

Python使用pandas导入csv文件内容的示例代码

目录 使用pandas导入csv文件内容 1. 默认导入 2. 指定分隔符 3. 指定读取行数 4. 指定编码格式 5. 列标题与数据对齐 使用pandas导入csv文件内容 1. 默认导入 在Python中导入.csv文件用的方法是read_csv()。 使用read_csv( »