作者 | 作业帮大数据团队（覃争、孙建业、刘泽强） 历史背景 作业帮 Presto 主要应用在即席查询场景，基本不用于 toB 系统和例行数仓构建场景。天级查询规模大概在 2000 ~ 5000 次，均值查询耗时分钟级别，整体偏慢；Presto、Yarn、HDFS 是混布的，进程间只做内存资源限制，高峰期宿主节点 Cpu ...

当接到CPU告警，我们的第一要务不是立即登录服务器胡乱敲命令，而是先通过监控系统（如Prometheus、Zabbix）了解基本情况：是单个核心100%还是所有核心均居高不下？是突然飙升还是缓慢爬升？这能帮助我们初步判断是流量冲击还是程序Bug。 当警报响起 深夜 ...

一款基于 Rust 开发的数据库备份工具，支持单实例 PostgreSQL/MySQL 数据库的自动备份、加密、压缩，并可将备份文件上传至腾讯云 COS 或阿里云 OSS或兼容 S3 协议的其他云存储。 开发动机是本人维护着很多单体服务分布在各个云服务器上，每个单体服务都使用各自 ...

MySQL是一个广泛使用的关系型数据库管理系统，常用于存储和管理大量数据。为了确保数据的安全性和可恢复性，在生产环境中经常需要进行备份。本篇文章将介绍如何使用MySQL的备份工具——mysqldump，编写一个自动化的备份脚本。 在这个示例中，我们假设要 ...

在MySQL中提供了命令行导出数据库数据以及文件的一种方便的工具mysqldump,我们可以通过命令行直接实现数据库内容的导出dump,首先我们简单了解一下mysqldump命令用法: 在linux中，通常使用BASH脚本对需要执行的内容进行编写，加上定时执行命令crontab实现日志自动化生成 ...

曹杰，中国结算上海分公司高级经理，从事系统运维管理工作。 本文以容器形式部署了开源自动化运维工具 Ansible，基于自带的 MySQL 管理模块编排了 playbook 配置文件，最终实现 MySQL 数据库备份的目标。选择容器而非直接安装的部署形式，可以避免对系统环境的 ...

Consul是近几年比较流行的服务发现工具，用于实现分布式系统的服务发现与配置。与其它分布式服务注册与发现的方案相比Consul的方案更“一站式”，使用起来也较 为简单。他的主要应用场景为：服务发现、服务隔离、服务配置。 【编者的话】在微服务体系中 ...

Python的修饰器的英文名叫Decorator，当你看到这个英文名的时候，你可能会把其跟Design Pattern里的Decorator搞混了，其实这是完全不同的两个东西。虽然好像，他们要干的事都很相似——都是想要对一个已有的模块做一些“修饰工作”，所谓修饰工作就是想给现有的 ...

MySQL 数据库与 Oracle、 SQL Server 等数据库相比，有其内核上的优势与劣势。我们在使用 MySQL 数据库的时候需要遵循一定规范，扬长避短。本规范旨在帮助或指导 RD、QA、OP 等技术人员做出适合线上业务的数据库设计。在数据库变更和处理流程、数据库表设计、SQL ...

tpl(http://tpl.sourceforge.net/)是一个开源的小项目，其主要是提供一个可以序列化或反序列化C语言数据的一个API函数库。tpl号称是 ...