pandas

「Python实用秘技07」pandas中鲜为人知的隐藏排序技巧

本文完整示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/PythonPracticalSkills 这是我的系列文章**「Python实用秘技」**的第7期,本系列立足于笔者日常工作中使用Python积累的心得体会,每一期为大家带来一个几分钟内就可 ... »

feffery

【Python自动化Excel】Python与pandas字符串操作

Python之所以能够成为流行的数据分析语言,有一部分原因在于其简洁易用的字符串处理能力。 Python的字符串对象封装了很多开箱即用的内置方法,处理单个字符串时十分方便;对于Excel、csv等表格文件中整列的批量字符串操作,pandas库也提供了简洁高效的处理函数,几乎与内置字符串函数一一对应。 ... »

Python: Pandas的DataFrame如何按指定list排序

本文首发于微信公众号“Python数据之道”(ID:PyDataRoad) 前言 写这篇文章的起由是有一天微信上一位朋友问到一个问题,问题大体意思概述如下: 现在有一个pandas的Series和一个 »

lemonbit

(数据科学学习手札134)pyjanitor:为pandas补充更多功能

本文示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 pandas发展了如此多年,所包含的功能已经覆盖了大部分数据清洗、分析场景,但仍然有着相当一部分的应用场景pandas中尚存空白亦或是现阶段的 ... »

feffery

pandas空值处理与插值

# coding:utf-8 import pandas as pd import numpy as np import matplotlib.pyplot as plt from scipy.interpolate import interp1d data = pd.read_excel('指数.xlsx',header=None,index_col=None) # 数据信息 # prin »

pandas 8 画图

from __future__ import print_function import pandas as pd import numpy as np import matplotlib.pyplot as plt # plot data Series 构造1列数据,data.plot() # Series 构造1列数据 np.random.seed(1) data = pd.Series( »

用 Scikit-Learn 和 Pandas 学习线性回归

对于想深入了解线性回归的童鞋,这里给出一个完整的例子,详细学完这个例子,对用scikit-learn来运行线性回归,评估模型不会有什么问题了。 from https://www.cnblogs.com/pinard/p/6016029.html 没有数据,当然没法研究机器学习啦。:) 这里我们用UCI大学公开的机器学习数据来跑线性回归。 数据的介绍在这: http://archive.ics. »

数据分析之pandas(1)

一、Pandas的数据结构     1.Series     (1)类似于一维数组     (2)通过list构建Series       ser_obj=pd.Series(range(10))     (3)pandas数据结构案例          »

Python之Pandas绘图,设置显示中文问题

  # -*- coding: utf-8 -*- # author:baoshan import pandas as pd import matplotlib.pyplot as plt plt.rcParams['font.sans-serif'] = ['SimHei'] plt.rcParams['axes.unicode_minus'] = False def main(): »

pandas rolling()根据时间窗口计算滚动(时间序列有关)

这个函数的主要作用是根据时间(天,月,季度,年等)去看看数据的变化趋势,是下降了还是上升了,最后还要分析趋势的原因,结合业务逻辑去分析 可以根据某个时间周期,计算数据的变化,主要用于时间序列上面 DataFrame.rolling(window,min_periods = None,center = False,win_type = None,on = None,axis = 0,closed »

pandas 根据特征绘制不同大小的散点图

1、 示例1 代码 import matplotlib.pyplot as plt import numpy as np import pandas as pd # 生成数据 rng = np.random.RandomState(27) v = rng.rand(60, 3) df = pd.DataFrame(v, columns=list('xyz')) df.plot(kind='s »

【Python数据分析】pandas针对字符串操作

目录 1.字符串调用属性:str 2.字符串常用方法:lower,upper,len,startswith,endswith 3.字符串去空格:strip,rstrip,lstrip 4.替换:replace 5.字符串分割:split,rspilt 在pandas中针对字符串配备了一套方法,使其容易对数组的每个元素进行操作。 1.字符串调用属性:str # 通过str属性操作,会自动排除 »

Python - pandas 数据分析

http://pandas.pydata.org/pandas-docs/stable/   1. 导入包pandas import pandas as pd    2. 获取文件夹下文件名称 import os filenames=[]path="C:/Users/Forrest/PycharmProjects/test" for file in os.listdir(path): »

关于在python中使用pandas模块将列表list/元组tuple写入excel中

今天笔者在一个网站中抓取了一些数据,整理成一个大列表后,希望输出到excel表格文件中保存 虽然有多种模块都可以完成这个需求,但笔者这里想到了可以使用最为简单高效的pandas模块 核心代码如下(使用元组也是可以的,子元素也可以列表和元组同时使用,效果一样的): import pandas as pd content_list=[["Instance Type","Term","Offerin »

Pandas---8.聚合与分组

1.分组运算的过程为:拆分-应用-合并 拆分阶段:Series/DataFrame等数据根据你提供的一个或者多个键,被拆分为多组 应用阶段:根据你提供的一个函数应用到这些分组上 合并阶段:将函数的执行结果合并到最终结果中 2.分组中有两种数据:源数据(被分组的对象),分组数据(用于划分源数据的) 源数据每一行(axis=0) 对应于分组数据中的一个元素。分组数据中每一个唯一值对应于一个 »

pandas 排序之 sort_values,reindex,reset_index, sort_index

  如果想按照自己的方式排序ind = 行索引data= data[ind] ind = data.sum(axis=1).sort_values(ascending=False).index data = data.loc[ind,:] data.reset_index() 注意:有时候 reset_index 方法会重新定义一个index列,此时可用 data.index = r »

Pandas Series.str.contains

  Series.str可用于以字符串形式访问系列的值并对其应用几种方法。Pandas Series.str.contains()函数用于测试序列或索引的字符串中是否包含模式或正则表达式。函数根据给定的模式或正则表达式是否包含在Series或Index的字符串中,返回boolean Series或Index。 语法: Series.str.contains(pat,case = True,fla »

pandas数据拼接

pandas数据拼接有可能会用到,比如出现重复数据,需要合并两份数据的交集,并集就是个不错的选择,知识追寻者本着技多不压身的态度蛮学习了一下下; 公众号:知识追寻者 知识追寻者(Inheriting the spirit of open source, Spreading technology knowledge;) 二 数据拼接 在进行学习数据转换之前,先学习一些数拼接相关的知识 2.1 j »