如何使用熊猫从字符串中删除小数点

Question

我正在读取一个 xls 文件并使用 pyspark 在数据块中转换为 csv 文件。 我的输入数据是 xls 文件中的字符串格式 101101114501700。但是在使用 pandas 将其转换为 CSV 格式并写入 datalake 文件夹后，我的数据显示为 101101114501700.0。我的代码如下。请帮助我为什么我在数据中得到小数部分。

for file in os.listdir("/path/to/file"):
     if file.endswith(".xls"):
       filepath = os.path.join("/path/to/file",file)         
       filepath_pd = pd.ExcelFile(filepath)
       names = filepath_pd.sheet_names        
       df = pd.concat([filepath_pd.parse(name) for name in names])        
       df1 = df.to_csv("/path/to/file"+file.split('.')[0]+".csv", sep=',', encoding='utf-8', index=False)
       print(time.strftime("%Y%m%d-%H%M%S") + ": XLS files converted to CSV and moved to folder"

Answer 1

我认为读取 excel 时该字段会自动解析为浮点数。之后我会更正它：

df['column_name'] = df['column_name'].astype(int)

如果您的列包含 Null，则您无法转换为整数，因此您需要先填充 null：

df['column_name'] = df['column_name'].fillna(0).astype(int)

然后您可以按照您的方式连接并存储它

Answer 2

您的问题与 Spark 或 PySpark 无关。与Pandas有关。

这是因为 Pandas 会自动解释和推断列的数据类型。由于列的所有值都是数字，Pandas 会将其视为float 数据类型。

为避免这种情况，pandas.ExcelFile.parse 方法接受一个名为 converters 的参数，您可以通过以下方式告诉 Pandas 特定的列数据类型：

# if you want one specific column as string
df = pd.concat([filepath_pd.parse(name, converters={'column_name': str}) for name in names])

或

# if you want all columns as string
# and you have multi sheets and they do not have same columns
# this merge all sheets into one dataframe
def get_converters(excel_file, sheet_name, dt_cols):
    cols = excel_file.parse(sheet_name).columns
    converters = {col: str for col in cols if col not in dt_cols}
    for col in dt_cols:
        converters[col] = pd.to_datetime
    return converters

df = pd.concat([filepath_pd.parse(name, converters=get_converters(filepath_pd, name, ['date_column'])) for name in names]).reset_index(drop=True)

或

# if you want all columns as string
# and all your sheets have same columns
cols = filepath_pd.parse().columns
dt_cols = ['date_column']
converters = {col: str for col in cols if col not in dt_cols}
for col in dt_cols:
    converters[col] = pd.to_datetime
df = pd.concat([filepath_pd.parse(name, converters=converters) for name in names]).reset_index(drop=True)