程序员之家

不care工具,在大数据平台中Hive能自动处理SQL

摘要:有没有更简单的办法,可以直接将SQL运行在大数据平台? 本文分享自华为云社区《Hive执行原理》,作者: JavaEdge 。 MapReduce简化了大数据编程的难度,使得大数据计算不再是高不可攀的技术圣殿,普通工程师也能使用MapReduce开发大数据程序。但是对于经常需要进行大数据计算的 ... »

打基础丨Python图像处理入门知识详解

摘要:本文讲解图像处理基础知识和OpenCV入门函数。 本文分享自华为云社区《[Python图像处理] 一.图像处理基础知识及OpenCV入门函数》,作者: eastmount。 一.图像基础知识 图像都是由像素(pixel)构成的,即图像中的小方格,这些小方格都有一个明确的位置和被分配的色彩数值, ... »

一次简单易懂的多态重构实践,让你理解条件逻辑

摘要:复杂的条件逻辑是编程中最难理解的东西之一。 本文分享自华为云社区《简单易懂的多态重构实践》,作者:JavaEdge 。 1 动机 复杂的条件逻辑是编程中最难理解的东西之一,因此我一直在寻求给条件逻辑添加结构。很多时候,我发现可以将条件逻辑拆分到不同的场景(或者叫高阶用例),从而拆解复杂的条件逻 ... »

JS/TS项目里的Module都是什么?

摘要:在日常进行JS/TS项目开发的时候,经常会遇到require某个依赖和module.exports来定义某个函数的情况。就很好奇Modules都代表什么和有什么作用呢。 本文分享自华为云社区《JS/TS项目里的Module都是什么?都有几种形式?loaders和bundlers的区别是什么?》 ... »

SimpleDateFormat类的安全问题,这6个方案总有一个适合你

摘要:你使用的SimpleDateFormat类还安全吗?为什么说SimpleDateFormat类不是线程安全的?带着问题从本文中寻求答案。 本文分享自华为云社区《【高并发】SimpleDateFormat类的线程安全问题和解决方案(附6种解决方案)》,作者: 冰 河。 首先问下大家:你使用的Si ... »

坐实大数据资源调度框架之王,Yarn为何这么牛

摘要:Yarn的出现伴随着Hadoop的发展,使Hadoop从一个单一的大数据计算引擎,成为大数据的代名词。 本文分享自华为云社区《Yarn为何能坐实资源调度框架之王?》,作者: JavaEdge。 Hadoop主要组成: 分布式文件系统HDFS 分布式计算框架MapReduce 分布式集群资源调度 ... »

都2022年了,HDFS为何还如此能战!

摘要:HDFS也许不是最好的大数据存储技术,但依然是最重要的大数据存储技术。 本文分享自华为云社区《HDFS为何在大数据领域经久不衰?》,作者: JavaEdge。 1、概述 1.1 简介 Hadoop实现的一个分布式文件系统(Hadoop Distributed File System),简称HD ... »

想减少代码量,快设置一个有感知的 Aware Spring Bean

摘要:正常情况下,Spring 中的 Bean 对 Spring 是无感知的,Spring 框架提供了这种扩展能力,能让一个 bean 成为有感知的。 本文分享自华为云社区《有感知的 Aware Spring Bean》,作者:陈皮的JavaLib。 有感知能力的 Spring Bean 正常情况下 ... »

如何以卫语句取代嵌套条件表达式?

摘要:以卫语句取代嵌套条件表达式的精髓就是:给某一条分支以特别的重视。 本文分享自华为云社区《以卫语句取代嵌套条件表达式 (Replace Nested Conditional with Guard Clauses)》,作者:JavaEdge。 动机 条件表达式通常有两种风格: 两个条件分支都属于正 ... »

实例解析网络编程中的另类内存泄漏

摘要:最近在排查一个网络通讯的压测问题,最后发现跟“内存泄漏”扯上了关系,但这跟常规理解的内存泄漏有那么一点点不同,本文将带你了解问题的始与末。 本文分享自华为云社区《【网络编程开发系列】一种网络编程中的另类内存泄漏》,作者:架构师李肯。 1 写在前面 最近在排查一个网络通讯的压测问题,最后发现跟“ ... »

pip:带你认识一个 Python 开发工作流程中的重要工具

摘要:许多Python项目使用pip包管理器来管理它们的依赖项。它包含在Python安装程序中,是Python中依赖项管理的重要工具。 本文分享自华为云社区《使用Python的pip管理项目的依赖关系》,作者:Yuchuan。 Python的标准包管理器是pip. 它允许您安装和管理不属于Pytho ... »

如何利用MHA+ProxySQL实现读写分离和负载均衡

摘要:本文分享一下“MHA+中间件ProxySQL”如何来实现读写分离+负载均衡的相关知识。 本文分享自华为云社区《MySQL高可用架构MHA+ProxySQL实现读写分离和负载均衡》,作者:小麦苗DB宝。 一、MHA+ProxySQL架构 我们都知道,MHA(Master High Availab ... »

手绘模型图带你认识Kafka服务端网络模型

摘要:Kafka中的网络模型就是基于主从Reactor多线程进行设计的。 本文分享自华为云社区《图解Kafka服务端网络模型》,作者:石臻臻的杂货铺 。 Kafka中的网络模型就是基于主从Reactor多线程进行设计的, 在整体讲述Kafka网络模型之前,我们现在按照源码中的相关类来讲解一下他们分别 ... »

谈谈有什么方法可以快捷实现多场景下的线程安全

摘要:本文结合示例,谈谈如何在 Java 语言中,实现线程安全的程序。 本文分享自华为云社区《如何只用5招实现多线程场景下的线程安全?》,作者: Java小叮当。 1、引言 当前随着计算机硬件的快速发展,个人电脑上的 CPU 也是多核的,现在普遍的 CUP 核数都是 4 核或者 8 核的。因此,在编 ... »

espnet中的transformer和LSTM语言模型对比实验

摘要:本文以aishell为例,通过对比实验为大家介绍transformer和LSTM语言模型。 本文分享自华为云社区《espnet中的transformer和LSTM语言模型对比 以aishell为例》,作者: 可爱又积极 。 NLP特征提取器简介 - RNN和Transformer 近年来,深度 ... »

生产环境频繁内存溢出,原来就是因为这个“String类”

摘要:如果在程序中创建了比较大的对象,并且我们基于这个大对象生成了一些其他的信息,此时,一定要释放和这个大对象的引用关系,否则,就会埋下内存溢出的隐患。 本文分享自华为云社区《【高并发】你敢信?String类竟然是导致生产环境频繁内存溢出的罪魁祸首!!》,作者: 冰 河 。 最近,一名小伙伴跟我说: ... »

看完微信抢红包算法你就明白,为啥你不是手气最佳

摘要:今天我们就来分析一下抢红包的算法,其中有一些是微信红包的算法,看完你就知道手气最佳是如何产生的啦。 本文分享自华为云社区《为啥春节抢红包总不是手气最佳?看完微信抢红包算法你就明白了!》,作者: XiaoLin_Java。 前言 春节必不可少的活动就是抢红包啦,从以前的纸质红包到现在互联网红包( ... »

高并发场景下优化加锁方式:线程等待与通知机制

摘要:很多时候,我们在并发编程中,涉及到加锁操作时,对代码块的加锁操作真的合理吗?还有没有需要优化的地方呢? 本文分享自华为云社区《【高并发】讲讲高并发场景下如何优化加锁方式?》,作者: 冰 河 。 互斥条件、不可剥夺条件、请求与保持条件、循环等待条件,这是产生死锁时的四个必要条件,只有四个条件同时 ... »

性能指标、响应时间、并发量…聊聊性能优化的衡量指标

摘要:今天,我们就来说说在高并发场景下做性能优化有哪些衡量标准,以及做优化时需要注意哪些问题。 本文分享自华为云社区《【高并发】性能优化有哪些衡量指标?需要注意什么?》,作者:冰 河 。 最近,很多小伙伴都在说,我没做过性能优化的工作,在公司只是做些CRUD的工作,接触不到性能优化相关的工作。现在出 ... »