1、前言 Volcano是一个基于Kubernetes构建的批处理系统，它提供了许多批处理和弹性工作负载通常需要的一套机制，主要用于高性能计算场景，包括机器学习、深度学习、大数据应用等。本文接下来主要从源码层面分析volcano的调度机制。 2、搭建环境 本文使用Volcano 1.9版本搭建运行环境，在运行volcano前需要先搭建好k8s集群，搭建方式可参考这篇文章：http://www.miaozhouguang.com/?p=490。执行如下命令即可启动volcano 1.9版本服务： kubectl ap…
1、前言 如今微服务盛行，服务部署几乎离不开K8S，工作中无时无刻不在接触它，秉着知其然还要知其所以然的原则，本系列文章会从源码层面对K8S进行深度剖析，俗话说工欲善其事必先利其器，阅读源码不仅仅是看，还需要去调试，只有调试才能更深入的理解一个庞大系统的运行机制。本系列的第一篇文章将会带你搭建K8S的调试集群。 2、搭建云端K8S集群 搭建K8S集群可以使用一个节点，然而为了更好的观察整个集群的调度特性，我们采用3节点进行部署，在本地没有多台机器的条件下可以租云端的服务器。以下租用了云端的3台服务器进行部署。 K8…
1、背景 K8S在云原生领域已经成为事实性的任务编排调度标准，在实际开发过程中我们经常会接触到它（除非你仍采用原始的裸机部署应用），随着深入的使用，当K8S提供的原生能力无法满足需求时，就需要进行二次扩展，比如Controller、调度等，本文接下来会介绍Controller原理及如何扩展。 2、Controller原理 K8S采用声明式API方式定义各种资源的预期状态，然后通过一个Reconcile（调谐）过程不断修正状态以达到预期，这个过程就是通过Controller来完成。K8S提供了很多内置Controll…
1、前言 对于后台开发的同学来说，几乎每天都接触分布式系统，如数据库、消息队列、注册中心等各种中间件，那分布式系统的原理是什么？最近学习了MIT 6.824分布式系统课程，感觉不错，也推荐后台开发的同学有兴趣的可以看看，课程主页：https://pdos.csail.mit.edu/6.824/index.html，另外B站上搜索6.824分布式系统可以找到很多视频资源，对英语有困难的同学也可以看看网友整理的课程翻译：https://zhuanlan.zhihu.com/c_1273718607160393728，…
1、背景 MongoDB是主流的NoSQL数据库，其弱化schema的文档存储方式在开发中可以提供很大的便利性，很多项目都将其作为主数据库存储重要的业务数据。作为经常和MongoDB打交道的开发有必要了解其底层原理，这有助于更好的去使用它。本系列会从源码层面介绍MongoDB底层实现，要读懂源码，编译调试是必不可少的，本文先从搭建MongoDB调试环境开始介绍。 2、编译环境 本文介绍的是Ubuntu平台MongoDB编译环境搭建。 2.1 版本说明 本文使用的系统或工具版本号： ubuntu：20.04 gcc：…
1、前言 在目前比较流行的微服务架构中，一般为了将存储和应用解耦，会将存储作为单独的服务提供给应用使用，由存储服务对接底层各种存储引擎，如MySQL、MongoDB、PostgreSQL等。这样可以统一各种存储引擎的差异，使应用对存储引擎无感知。要消除这种差异，需要制定一个统一的接口语言，应用使用该接口语言来操作数据。GraphQL是Facebook开源的一种接口语言，它可以提供灵活、高效的数据操作方式，能够精确的获取指定数据。本文接下来介绍GraphQL及用于构建其Go服务的gqlgen库的使用，最后会涉及到针对…
1、背景 分布式共识算法是指多个参与者针对某件事达成一致，常用于分布式系统中保证多节点间数据一致性，主流的分布式共识算法包括：paxos、raft、zab等。其中paxos是最基础的算法，本文接下来会介绍该算法的流程，以及会用简单的示例说明使用场景，完整示例代码见：https://github.com/jemuelmiao/paxos。 2、算法流程 2.1 概念 提议 proposal：提议 proposal id：提议编号 proposal value：提议值 角色 proposer：提议者 acceptor：…
1、背景 大数据平台的采集功能是从外部数据源采集数据存储到hive，采集方式分为全量采集、增量采集，增量采集适用于数据规模较大情况，有很多使用场景，但是在增量采集时，平台只能感知数据新增、更新，无法感知到数据删除，为了解决这个问题，本文选用了常用的外部数据源mysql为例进行binlog采集方案介绍。 2、方案 针对mysql数据源，可以通过拉取binlog来回放每条SQL语句，这样不管是新增、更新、删除都能进行处理，但是前提条件是需要mysql服务开启binlog，并且模式为row，因为row模式会存储每条记录的…
1、channel数据结构 1.1 结构定义 //src/runtime/chan.go type hchan struct { qcount uint //缓冲区队列中元素总数 dataqsiz uint //缓冲区队列大小 buf unsafe.Pointer //缓冲区队列，用于存放元素，该缓冲区模拟环形结构 elemsize uint16 //元素大小 closed uint32 //channel是否关闭，关闭设为1 elemtype *_type //元素类型 sendx u…