Dataframe中遇到的问题
1、为某个dataframe添加index
factor_exposed_matric.index = cols
2、drop某一列
删除pandas DataFrame的某一/几列：
方法一：直接del DF[\'column-name\']
方法二：采用drop方法，有下面三种等价的表达式：
1. DF= DF.drop(\'column_name\', 1)；
2. DF.drop(\'column_name\',axis=1, inplace=True)
3. DF.drop([DF.columns[[0,1, 3]]], axis=1,inplace=True) # Note: zero indexed
注意：凡是会对原数组作出修改并返回一个新数组的，往往都有一个 inplace可选参数。如果手动设定为True（默认为False），那么原数组直接就被替换。也就是说，采用inplace=True之后，原数组名（如2和3情况所示）对应的内存值直接改变；而采用inplace=False之后，原数组名对应的内存值并不改变，需要将新的结果赋给一个新的数组或者覆盖原数组的内存位置（如1情况所示）。
3、查询DataFrame每一列的类型
print("in", industry_factor.dtypes)
4、为DataFrame添加新的一行数据
headers = [] for i in range(0, 28): headers.append(\'industry\' + str(i+1)) headers.append("ticker") file_object.write(\',\'.join(headers) + \'\n\') matrix_data = pd.DataFrame(columns=headers, dtype=int)#step1 row2 = [] for i in range(0, 28): row2.append(0) for gp_code in gp_code_list: index = index_of_industry(gp_code, industry_name_aa, industry_collection_aa) row2[index] = 1 row_tmp = row2 row_tmp.append(gp_code) # print(\'row\',row) # print(row_tmp) # print(headers) row_tmp = pd.DataFrame([row_tmp],columns=headers, dtype=int)#step2 # print(row_tmp) matrix_data = matrix_data.append(row_tmp, ignore_index=True)#赋值step3 row2.pop() row2[index] = 0
5、Dataframe修改元素的值
DATAFRAME中使用iat[1,0]和iloc[0,1]对元素进行修改。 a = [("hahaha",1),("lalala",2),("cacaca",6)] b = padas.DataFrame(a) b.iat[1,0] = 1.0 将位置横竖坐标为1,0的元素改为值为1.0。
6、list查询某元素的索引
def index_of_industry(gp_code, industry_name_aa, industry_collection_aa): gp_code_in_name_aa = \'\' try: gp_code_in_name_aa = industry_name_aa.get(gp_code[0:6])[0] #print("gp_code_in_name_aa",gp_code_in_name_aa) index = industry_collection_aa.index(gp_code_in_name_aa) return index # for industry_name in industry_collection_aa: # if industry_name == gp_code_in_name_aa: # return index # index += 1 except Exception as e: print(\'异常：\', gp_code,gp_code_in_name_aa,industry_collection_aa,industry_name_aa) return 0
7、查询DataFrame第n列的列名
print(\'cols\',df_matrix.columns.tolist()[2])#查询第几列的的名字
8、DataFrame用iat修改元素
for gp_code in gp_code_list: index = index_of_industry(gp_code, industry_name_aa, industry_collection_aa) # print(\'1\',df_matrix[\'ticker\']==gp_code) # 根据行列找到元素的位置 df_matrix.iat[row,index] = 1 row += 1 print(\'df_matrix\',df_matrix)
9、高效实用DataFrame
# 提高50倍，思路：先创建好矩阵，代替极度耗时的一行一行的拼接，然后去一行一行修改要修改的元素。
headers2 = []
for i in range(0, 28):
headers2.append(\'industry\' + str(i + 1))
matrix = np.zeros((len(gp_code_list), 28))
df_matrix = pd.DataFrame(matrix,columns=headers2 , dtype=np.int64)
df_gp_codes = pd.DataFrame(gp_code_list,columns=[\'ticker\'])
df_matrix = pd.concat([df_matrix,df_gp_codes],axis=1)
row = 0
#根据横纵坐标修改元素
for gp_code in gp_code_list:
index = index_of_industry(gp_code, industry_name_aa, industry_collection_aa)
# print(\'1\',df_matrix[\'ticker\']==gp_code)
# 根据行列找到元素的位置
df_matrix.iat[row,index] = 1
row += 1
print(\'df_matrix\',df_matrix.dtypes,df_matrix)
10、list的append方法没有返回值，不能直接打印
factor2 = [0] * 32 #print（factor1.append(\'000002.SZ\')）#None factor1.append(\'000002.SZ\') print(factor1)#正常输出33个元素的list
11、词典转化为json的dumps和loads
# coding: utf-8 import json from collections import OrderedDict text = OrderedDict() # 有序字典 text[\'c\']=1 text[\'b\']=2 text[\'d\']=4 # 普通字典 text1 = {} text1[\'d\']=4 text1[\'c\']=4 text1[\'e\']=4 print(\'text1\',text) # 将字典转换为json格式 du = json.dumps([text] ,sort_keys = True)#字符串 print(\'du\',du) metadata = json.loads(du,encoding=\'utf-8\',object_pairs_hook=OrderedDict)#list print(\'metadata\',metadata) du2 = json.dumps([{\'a\':11,\'b\':22}])#转换为标准json du2 = json.dumps([{"a":11,"b":22}])#转换为标准json print(\'du2\',du2) #text1 OrderedDict([(\'c\', 1), (\'b\', 2), (\'d\', 4)]) #du [{"b": 2, "c": 1, "d": 4}] #metadata [OrderedDict([(\'b\', 2), (\'c\', 1), (\'d\', 4)])] #du2 [{"b": 22, "a": 11}]
F_series = json.dumps([OrderedDict(F_series)])# 强制转化Series为有序字典再转为json字符串
12、DataFrame转矩阵再转list
import numpy as np import pandas as pd arr = np.arange(12).reshape([3,4]) print(arr) df_arr = pd.DataFrame(arr) print(\'df_arr\',df_arr) matrix = df_arr.values print(\'matrix\',matrix)# 矩阵无逗号隔开 arr2 = matrix.tolist() # 数组有逗号隔开 print(\'arr2\',arr2) # [[ 0 1 2 3] # [ 4 5 6 7] # [ 8 9 10 11]] # df_arr 0 1 2 3 # 0 0 1 2 3 # 1 4 5 6 7 # 2 8 9 10 11 # matrix [[ 0 1 2 3] # [ 4 5 6 7] # [ 8 9 10 11]] # arr2 [[0, 1, 2, 3], [4, 5, 6, 7], [8, 9, 10, 11]]
13、词典拼接json返回格式
result = OrderedDict() result[\'errno\'] = 1 result[\'error\'] = \'suceess\' data = OrderedDict() index = 0 print(sorted(all_factor_list.keys())) for date in sorted(all_factor_list.keys()): data.setdefault(date,{})[\'regression_coefficient\'] = 2 if index < 1: index += 1 continue data.setdefault(date,{})[\'regression_coefficient\'] = 2 data.setdefault(date,{})[\'return_rate_errors\'] = 3 result[\'data\'] = [data] print(\'all_factor_list\',json.dumps(result)) # { # "errno": 1, # "error": "suceess", # "data": [{ # "2016-03-01": {"regression_coefficient": 2}, # "2016-03-02":{"regression_coefficient": 2, "return_rate_errors": 3 # } # }] # }
14、指定位置插入一列
factor_exposed_matric.insert(0,\'fund_code\',row_index)
分割完毕，现在要把各列重新插入，除在最右侧插入用标签直接创建外，其他列用.insert()方法进行插入。
In [6]:
table.insert(0,\'date\',date)
table
Out[6]:
date spring autumn
0 2000 12.233881 15.692383
1 2001 12.847481 14.514066
2 2002 13.558175 15.699948
3 2003 12.654725 15.661465
4 2004 13.253730 15.209054
5 2005 13.444305 16.622188
6 2006 13.505696 15.497928
7 2007 13.488526 15.817014
8 2008 13.151532 15.729573
9 2009 13.457715 18.260180
10 2010 13.194548 15.426353
11 2011 14.347794 14.176580
12 2012 13.605087 14.717968
13 2013 13.027908 16.203455
14 2014 12.746682 14.736768
15 2015 13.465904 12.44243714、pandas往to_csv和to_excel中写内容不覆盖以前内容用法
两种方法选一种:
-
df.to_csv, 参数mode=\'a\'表示追加
-
df.to_excel，在写入之前把df的值拼在一起写入，比如原来的数据是df1, 要写入的数据是df2则 pandas.concat([df1, df2]).to_excel()
15、DataFrame删除索引修改列和索引
删除行索引重排： ser = ser.reset_index(drop = True) df = df.reset_index(drop = True) 修改索引和列： ser.index = [\'a\',\'b\'] ser.columns = [\'a\',\'b\'] ------------------------------------------ 直接修列索引： df = pd.DataFrame(df,columns = [\'One\',\'Two\',\'Three\'])
16、把只有1列的dataframe直接转为有序词典
u = pd.DataFrame(return_rate_error.tolist(), columns=["return_rate_error"],index=index_list) print(u) u = OrderedDict(u[\'return_rate_error\']) print(u)
17、求两个dataframe根据某一列的交集
import pandas as pd c1 = {\'001.SZ\':1,\'002.SZ\':2,\'003.SZ\':3,\'004.SZ\':4} c2 = {\'001.SZ\':1,\'002.SZ\':2,\'003.SZ\':3,\'005.SZ\':4} close_price = pd.DataFrame([[\'001.SZ\',\'002.SZ\',\'003.SZ\',\'004.SZ\'],[1,2,3,4]],index=[\'index\',\'value\']) close_price2 = pd.DataFrame([[\'001.SZ\',\'002.SZ\',\'003.SZ\',\'005.SZ\'],[1,2,3,5]],index=[\'index\',\'value\']) close_price3 = pd.merge(close_price.T,close_price2.T,on=\'index\') print(close_price3) # index value_x value_y # 0 001.SZ 1 1 # 1 002.SZ 2 2 # 2 003.SZ 3 3
18、Series类型在计算dot，该序列可转置也可不转，结果一样
# 两者等价 rt_ep1 = (df_pre_factor_list[\'net_rate\'].T.dot(df_pre_factor_list[\'ep\']))*industry_regression_coefficient[\'ep\'] rt_ep2 = (df_pre_factor_list[\'net_rate\'].dot(df_pre_factor_list[\'ep\']))*industry_regression_coefficient[\'ep\']
19、丢弃出现nan为空的行