华为云新鲜技术分享

如何对混合日志进行自动化解析

本文定义了混合日志的消息类型包括单行的事件日志、具有清晰的行列结构的表格日志、以及具有跨行文本结构的文本日志。 本文分享自华为云社区《【AIOps】日志分析领域难题:如何对混合日志进行自动化解析?》,作者: DevAI。 AIOps智能运维,是指将AI应用于运维领域,基于已有的运维数据通 »

基于volcano实现节点真实负载感知调度

开源Prometheus可以获取到各个节点的真实负载情况,基于volcano调度插件的能力可以实现基于应用能够基于真实负载调度,在资源满足的情况下,Pod优先被调度至真实负载低的节点,集群各节点负载趋于均衡。 本文分享自华为云社区《基于volcano实现节点真实负载感知调度》,作者: 可 »

GaussDB(for MySQL)剪枝功能,让查询性能提升70倍!

如何通过MySQL提升DISTINCT,尤其是多表连接下DISTINCT的查询效率? 作者,祝青平,华为云数据库内核高级工程师。擅长数据库优化器内核研发,9年数据库内核研发经验,参与多个TP以及AP数据库的研发工作。 近日,华为云数据库社区下面有这样一条用户提问留言:请问,如何通过My »

这些常见的python编码习惯,你都会吗

语言在发展和变化,编码习惯也在发生改变。这里简单聊聊 17个python中常见的编码习惯或者风格。 本文分享自华为云社区《不得不知的十个常见PY编码习惯》,作者:码乐。 简介 语言在发展和变化,编码习惯也在发生改变。这里简单聊聊 17个python中常见的编码习惯或者风格。 1,可变数 »

8种超简单的Golang生成随机字符串方式

go语言中,有没有什么最快最简单的方法,用来生成只包含英文字母的随机字符串。 本文分享自华为云社区《Golang生成随机字符串的八种方式与性能测试》,作者: 张俭。 前言 这是**icza**在StackOverflow上的一篇高赞回答,质量很高,翻译一下,大家一起学习 问题是:go语言 »

当创建一个ingress后,kubernetes会发什么?

当创建ingress资源时,kubernetes各个组件如何协同。 本文分享自华为云社区《当创建一个ingress后,kubernetes会发什么?》,作者:可以交个朋友。 一、Ingress概述 Ingress是一组路由转发规则合集,将集群内部服务通过7层协议暴露给用户,是一种k8s默 »

中间件是开箱即用的吗?为什么要开发中间件adapter?

中间件adapter指的是和中间件运行在一起(同一个物理机或同一个容器),使得中间件和商用系统中已有的组件进行对接,最终使得该中间件达到在该系统商用的标准。 本文分享自华为云社区《中间件是开箱即用的吗?为什么要开发中间件adapter?》,作者:张俭。 中间件在很多系统中都存在 在一个系 »

代码检查规则运营需关注的10大指标

通过关注文中提到的这些指标信息,可以让相关人员获取规则相关的关键数据,帮助用户了解和评估规则的有效性、合理性、可维护性和适应性。 本文分享自华为云社区《代码检查规则运营一般会关注什么指标?》,作者: gentle_zhou。 代码检查服务的度量运营看板,除了先前提到的告警运营模块(其中的 »

一文带你深入理解K8s-Pod的意义和原理

POD用于封装2个容器,并始终保证调度到同一个节点上。 本文分享自华为云社区《深入理解K8s-Pod的意义和原理》,作者:breakDawn。 在Kubernetes概念中,有以下五种概念: 容器container:镜像管理的最小单位 生产任务Pod:容器组,资源调度最小单位 节点No »

一步一步教你写kubernetes sidecar

边车模式通过给应用服务加装一个“边车”来达到控制和逻辑的分离的目的。 本文分享自华为云社区《一步一步教你写kubernetes sidecar》,作者: 张俭。 什么是sidecar? sidecar,直译为边车。 如上图所示,边车就是加装在摩托车旁来达到拓展功能的目的,比如行驶更加稳 »

Calico IPIP模式下的Cross Subnet特性分析

Calico-ipip模式和calico-bgp模式都有对应的局限性,对于一些主机跨子网而又无法使网络设备使用BGP的场景可以使用cross-subnet模式,实现同子网机器使用calico-BGP模式,跨子网机器使用calico-ipip模式。 本文分享自华为云社区《Calico IP »

万字带你熟悉静态分析工具的评估测试

静态分析工具的建设和评估,一直是一件让人头痛的问题。试图通过三组测试用例集,来寻找如何建立更高效和全面的评估用例集的方法。 本文分享自华为云社区《静态分析工具的评估测试》,作者: Uncle_Tom。 1. 垂直极限 还是先说故事。那是 2014 年参加的一个测试驱动(TDD)的培训,培 »

分享两种Pulsar消息积压topic级别策略老化办法

本文将介绍如何在topic级别实现老化策略的两种方案。 本文分享自华为云社区《Pulsar消息积压topic级别策略老化的两种方案》,作者: 张俭。 Pulsar像大多数消息中间件一样,支持按时间和大小对消息积压进行老化。但是默认的策略只能在namespace级别配置。本文将介绍如何在t »

GaussDB(DWS)中的分布式死锁问题实践

出现分布式死锁现象后,如果没有外部干预,通常是一方等待锁超时报错后,事务回滚清理持有锁资源,另一方可继续执行。 本文分享自华为云社区《GaussDB(DWS)中的分布式死锁问题实践》,作者: 他强由他强 。 1、什么是分布式死锁 分布式死锁是相对于单机死锁而言,一个事务块中的语句,可能会 »

解决网络协议服务器问题的关键:定位能力与抓包技术

本文首先阐述了网络协议服务器的一些问题定位能力,强调抓包的重要性和对于解密TLS报文的挑战。 本文分享自华为云社区《提升网络协议服务器的定位能力》,作者:张俭。 近期,我再次涉足于协议服务器相关的工作领域,致力于定位并解决各种问题。简单总结一些心得给大家。如果想要定位出协议服务器的问题, »

All in One, 快速搭建端到端可观测体系

可观测包含指标、日志、调用链,它是运维运营的基础能力,所有的运维运营动作都要基于可观测进行分析和决策。 本文分享自华为云社区《All in One, 快速搭建端到端可观测体系》,作者:王磊。 随着云原生技术的应用,可观测成为云服务的主角,应用程序的部署密度及变化频率较传统环境有着巨大的变 »

实践解析HPA各关联组件扭转关系

kubernetes使用者通过创建一个hpa资源用于定义对某个负载比如deployment的弹性策略 本文分享自华为云社区《HPA各关联组件扭转关系以及建议》,作者:可以交个朋友。 一、背景 应用程序的使用存在波峰波谷现象,在应用流量处于低谷期间,可以释放因过多的Pod而浪费的硬件资源。 »

大语言模型训练数据常见的4种处理方法

本文将介绍当前常见的大语言模型训练数据的来源、处理方法、预训练数据对大语言模型影响的分析以及常见开源数据集合等。 本文分享自华为云社区《浅谈如何处理大语言模型训练数据之一常见的数据处理方法》,作者: 码上开花_Lancer。 大语言模型训练需要数万亿的各类型数据。如何构造海量“高质量”数 »