大数据

从港口煤炭工人,到国企大数据负责人:曾经的网瘾少年是怎么做到的?

大家好,我是独孤风,一位曾经的港口煤炭工人,目前在某国企任大数据负责人,公众号大数据流动主理人,近日公众号粉丝也刚刚突破了万人算是一个小小的里程碑。 看着已经有一万人来关注自己,阅读过自己写的文章。心中还是感慨万千的。所以,借着这个机会,今天这篇文章来聊聊我自己。说起来我大学毕业已经有10年了,这 ... »

EasyPoi大数据导入导出百万级实例

EasyPoi介绍: 利用注解的方式简化了Excel、Word、PDF等格式的导入导出,而且是百万级数据的导入导出。EasyPoi官方网址:EasyPoi教程_V1.0 (mydoc.io)。下面我写了一个测试用例,真的是很方便,可以利用注解自动完成单元格的合并,设置单元格宽度、设置字符替换、并且可 ... »

lasding

云小课|MRS基础原理之MapReduce介绍

阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。更多精彩内容请单击此处。 摘要:MapReduce是Hadoop的核心,是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概 ... »

huaweiyun

教你如何解决T+0的问题

摘要:T+0查询是指实时数据查询,数据查询统计时将涉及到最新产生的数据。 本文分享自华为云社区《大数据解决方案:解决T+0问题》,作者: 小虚竹 。 T+0问题 T+0查询是指实时数据查询,数据查询统计时将涉及到最新产生的数据。在数据量不大时,T+0很容易完成,直接基于生产数据库查询就可以了。但是, ... »

即兴小探华为开源行业领先大数据虚拟化引擎openLooKeng

如果你还在头疼数据分析多组件、多集群跨域等问题,推荐研究下华为开源的openlookeng,能够解决企业在面向大数据应用面临的用数难、找数难、取数难的痛点,本篇从openlookeng背景和架构开始,理解其关键技术和应用场景,最后通过安装openlookeng的集群,利用命令行接口验证MySQL和C... ... »

Java找出两个大数据量List集合中的不同元素的方法总结

目录 JavaAPI过滤(不推荐) 1千数据量 1万数据量 10万数据量 100万数据量 List集合双层遍历比较不同(不推荐) 借助Map集合查找(推荐) 1千数据量 1万数据量 10万数据量 100万数据量 1000万数据量 优化 找出相同元素 本文将带你了解如何快速的找出两个相 »

Hudi 数据湖的插入,更新,查询,分析操作示例

Hudi 数据湖的插入,更新,查询,分析操作示例 作者:Grey 原文地址: 博客园:Hudi 数据湖的插入,更新,查询,分析操作示例 CSDN:Hudi 数据湖的插入,更新,查询,分析操作示例 前置工作 首先,需要先完成 Linux 下搭建 Kafka 环境 Linux 下搭建 Hadoop 环境 ... »

大数据关键技术:自然语言处理入门篇

分词与词向量 自然语言处理简介 自然语言处理概况 什么是自然语言处理? 自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算 ... »

ranxi169

Linux 下搭建 Hive 环境

Linux 下搭建 Hive 环境 作者:Grey 原文地址: 博客园:Linux 下搭建 Hive 环境 CSDN:Linux 下搭建 Hive 环境 前置工作 首先,需要先完成 Linux 下搭建 Kafka 环境 Linux 下搭建 Hadoop 环境 Linux 下搭建 HBase 环境 本 ... »

Vue Echarts实现实时大屏动态数据显示

目录 前言 一、vue配置 二、适配方案 三、Echarts 四、实时更新 前言 因为是国企线上应用的活动大屏,我就不附图了。代码仅供参考。 一、vue配置 1. 我是用vue-cli 搭建的,大屏项目复杂度不高,vue-router、vuex 、axios、sass 等都可以不用, »

企业大数据发展面临问题之存算分离技术思考

存算分离是下一代企业大数据必然趋势,本篇先简述存算分离背景以及为何要进行村塾分离,当前存算分离主要优势和实际应用场景。并归纳分析若干如华为Ocean系列、JuiceFs、HashData等市面上存算分离产品和解决方案。 ... »

大数据技术之HBase原理与实战归纳分享-上

要想入门大数据理论和原理必先研究HBase,体会其设计精髓,本篇先介绍其基础架构和应用场景、逻辑结果和物理存储结构进一步理解其数据模型,通过详细完整步骤一步步的安装最新版本2.5高可用的Hbase集群以加深理解其整体架构,最后通过实操Hbase Shell基础命令和DDL、DMl等常用命令。 ... »

从零开始学Graph Database:什么是图

摘要:本文从零开始引导与大家一起学习图知识。希望大家可以通过本教程学习如何使用图数据库与图计算引擎。本篇将以华为云图引擎服务来辅助大家学习如何使用图数据库与图计算引擎。 本文分享自华为云社区《从零开始学Graph Database(1)》,作者:弓乙 。 基础概念 什么是图? 首先,我们需要明确图 ... »

huaweiyun

ClickHouse(07)ClickHouse数据库引擎解析

这里会介绍ClickHouse几种数据库引擎,已经对应的特点和应用的场景。数据库引擎允许您处理数据表。默认情况下,ClickHouse使用Atomic数据库引擎。它提供了可配置的table engines和SQL dialect。 目前的数据库引擎: MySQL MaterializeMySQL L ... »

大数据常用的Linux命令

Linux文件系统基础知识 要想熟练使用命令,就先要熟练掌握Linux文件系统基础知识: 三个路径 当前路径:也叫当前工作目录,就是当前状态下用户所处的位置 相对路径:相对于当前工作目录开始的路径,会随着当前工作目录变化而变化 绝对路径:不管当前工作目录在哪,绝对路径都会从/根目录开始,唯一不重复 ... »

he-cheng

如何使用DBeaver连接Hive

1 DBeaver介绍 DBeaver是一个通用的数据库管理工具和 SQL 客户端,支持多种兼容 JDBC 的数据库。DBeaver 提供一个图形界面用来查看数据库结构、执行SQL查询和脚本,浏览和导出数据,处理BLOB/CLOB 数据,修改数据库结构等。 2 安装DBeaver 下载地址:http ... »

我眼中的大数据(三)——MapReduce

​ 这次来聊聊Hadoop中使用广泛的分布式计算方案——MapReduce。MapReduce是一种编程模型,还是一个分布式计算框架。 MapReduce作为一种编程模型功能强大,使用简单。运算内容不只是常见的数据运算,几乎大数据中常见的计算需求都可以通过它来实现。使用的时候仅仅需要通过实现Map和 ... »

hhhnicvscs