数据分析

目录 pandas处理大数据的限制 什么是vaex 安装vaex 读取数据 数据处理 可视化展示 结论 pandas处理大数据的限制 现在的数据科学比赛提供的数据量越来越大，动不动几十个G，甚至上百G，这就要考验机器性能和数据处理能力。 Python中的pandas是大家常用的数据处 »

目录 前言 一、索引缺失 二、负值取正 三、提取数值 四、提取唯一值 前言 众所周知我们获取的第一手数据往往都是比较杂乱无章的，这些文件保存一般都是csv文件或者是excel文件，读取转换成DataFrame还有可能因为缺少列索引或者是各类数据维度不相等而报错。读取成功为DataFra »

目录 前言 一、索引缺失 二、负值取正 三、提取数值 四、提取唯一值 前言 众所周知我们获取的第一手数据往往都是比较杂乱无章的，这些文件保存一般都是csv文件或者是excel文件，读取转换成DataFrame还有可能因为缺少列索引或者是各类数据维度不相等而报错。读取成功为DataFra »

目录 前言 一、多文件场景 方法一 方法二 二、多文件读取 前言 很多情况下我们处理的文件并不只是一个单纯的CSV文件或者Excel文件。我们会结合更多是数据去进行聚合统计分析，或许是需要解析到一整个数据存储压缩包，或许是对一整个目录文件读取再进行数据操作，这都需要我们掌握一定的 »

目录 前言 一、多文件场景 方法一 方法二 二、多文件读取 前言 很多情况下我们处理的文件并不只是一个单纯的CSV文件或者Excel文件。我们会结合更多是数据去进行聚合统计分析，或许是需要解析到一整个数据存储压缩包，或许是对一整个目录文件读取再进行数据操作，这都需要我们掌握一定的 »

本文主要介绍GeoPandas的基本使用方法，以绘制简单的地图。GeoPandas是一个Python开源项目，旨在提供丰富而简单的地理空间数据处理接口。GeoPandas扩展了Pandas的数据类型，并使用matplotlib进行绘图。GeoPandas官方仓库地址为：GeoPandas。GeoPa ... »

目录 案例 需求分析 实现步骤 代码 实例1 实例2 实例3 可视化 数据集 案例 某公司，有2份数据文件，现需要对其进行分析处理，计算每日的销售额并以柱状图表的形式进行展示。   需求分析 实现步骤 设计一个类，可以完成数据的封装 设计一个抽象类，定 »

目录 案例 需求分析 实现步骤 代码 实例1 实例2 实例3 可视化 数据集 案例 某公司，有2份数据文件，现需要对其进行分析处理，计算每日的销售额并以柱状图表的形式进行展示。   需求分析 实现步骤 设计一个类，可以完成数据的封装 设计一个抽象类，定 »

目录 一、IO流概述和分类 二、字节流写数据 三、字节流写数据的三种方式 四、字节流写数据的两个小问题 一、IO流概述和分类 IO流介绍： ● IO：输入/输出(Input/Output) ● 流：是一种抽象概念，是对数据传输的总称。也就是说数据在设备间的传输称为流，流的本质是数 »

目录 一、IO流概述和分类 二、字节流写数据 三、字节流写数据的三种方式 四、字节流写数据的两个小问题 一、IO流概述和分类 IO流介绍： ● IO：输入/输出(Input/Output) ● 流：是一种抽象概念，是对数据传输的总称。也就是说数据在设备间的传输称为流，流的本质是数 »

目录 基础知识 C++ 整数类型及所占内存 取值范围计算 基本数据类型中int、long等整数类型取值范围 基础知识 计算机中所有的整数都是以补吗的形式存储的。 正数的补码与原码相同，负数的补码是对其原码逐位取反，但符号位除外；然后整个数加1。零分为+0和-0。 C++ 整数类型及所 »

目录 了解内存的原理 了解指针的原理 1、通过指针修改 值类型 的变量数据 2、通过指针修改 引用类型 的变量数据 3、通过指针修改 数组对象 的成员数据 4、通过指针修改 类对象 的字段数据 5、通过IntPtr自定义内存地址修改 值类型 数据 6、void* 一个任意类型的指针 7、stack »

时间轮的介绍 时间轮（TimeWheel）是一种实现延迟功能（定时器）的精妙的高级算法，其算法应用范围非常广泛，在Java开发过程中常用的Dubbo、Netty、Akka、Quartz、ZooKeeper 、Kafka等各种框架中，各种操作系统的定时任务crontab调度都有用到，甚至Linux内核 ... »

代码1：餐饮日销额数据异常值检测（箱型图） import pandas as pd import numpy as np catering_sale = "D:\360MoveData\Users\86130\Documents\Tencent Files\2268756693\Fi »

阅识风云是华为云信息大咖，擅长将复杂信息多元化呈现，其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。更多精彩内容请单击此处。 摘要：Spark Streaming是一种构建在Spark上的实时计算框架，扩展了Spark处理大规模流式数据的能力。本文介 ... »

目录 numpy 堆叠数组 ravel() 函数 stack() 函数 vstack()函数 hstack()函数 concatenate() 函数 numpy 堆叠数组 在做图像和 nlp 的数组数据处理的时候，经常需要实现两个数组堆叠或者连接的功能，这就需用到 numpy 库的一些 »

目录 前言 一、定义 二、使用条件 三、计算公式及代码示例 1.Tau-a 2.Tau-b 前言 相关性分析算是很多算法以及建模的基础知识之一了，十分经典。关于许多特征关联关系以及相关趋势都可以利用相关性分析计算表达。其中常见的相关性系数就有三种：person相关系数，spearm »

目录 前言 一、数值类型 皮尔逊系数使用场景 皮尔逊相关系数(Pearson correlation) 定义 2.线性关系判定  3.正态检验 1.KS检验 4.计算代码 前言 相关性分析算是很多算法以及建模的基础知识之一了，十分经典。关于许多特征关联关系以及相关趋势都可以利用相 »

本篇先通过Kylin对连接条件、维度和度量限制的示例弄清Kylin的使用注意事项，在此基础上研究Kylin查询引擎，并配置spark查询下压实现没有cube的查询；理解Cube的构建优化，通过官方提供RestAPI实现动态灵活查询和cube构建，最后通过集成JDBC的Java代码实现简单查询操作。 »

1 背景 我们的业务服务随着功能规模扩大，用户量扩增，流量的不断的增长，经常会遇到一个问题，就是数据存储服务响应变慢。 导致数据库服务变慢的诱因很多，而RD最重要的工作之一就是找到问题并解决问题。 下面以MySQL为例子，我们从几个角度分析可能产生原因，并讨论解决的方案。 2 定位慢查询的原因并优化 ... »