总阅读量:次

⭐⭐⭐ Spring Boot 项目实战 ⭐⭐⭐ Spring Cloud 项目实战
《Dubbo 实现原理与源码解析 —— 精品合集》 《Netty 实现原理与源码解析 —— 精品合集》
《Spring 实现原理与源码解析 —— 精品合集》 《MyBatis 实现原理与源码解析 —— 精品合集》
《Spring MVC 实现原理与源码解析 —— 精品合集》 《数据库实体设计合集》
《Spring Boot 实现原理与源码解析 —— 精品合集》 《Java 面试题 + Java 学习指南》

摘要: 原创出处 码问 「qm」欢迎转载，保留摘要，谢谢！

🙂🙂🙂关注微信公众号：【芋道源码】有福利：

  1. RocketMQ / MyCAT / Sharding-JDBC 所有源码分析文章列表
  2. RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址
  3. 您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。
  4. 新的源码解析文章实时收到通知。每周更新一篇左右。
  5. 认真的源码交流微信群。

今天给大家分享一个挺有意思的数据流平台，主打一个”拖拖拽拽就能搞定数据同步”，对于不想写代码的同学来说简直是福音。

项目官网：https://shaiwz.com/home

前端代码地址：https://gitee.com/shaiwz/data-platform-front-open

在线体验：http://dataplatform.cn/login

先说说这玩意有啥亮点

说实话，市面上数据流平台不少，但这个有几个点我觉得挺实用的：

  • 流批一体：不管是实时流处理还是批量跑任务，一套搞定，不用来回切换
  • 版本控制：数据流也能像代码一样管理版本，改坏了随时回滚，心里踏实
  • 分布式 + 自动容错：节点挂了自动恢复，不用半夜爬起来救火
  • 告警机制完善：出问题第一时间通知你，别等用户投诉了才知道
  • 数据权限可配置：谁能看啥数据，配一配就完事

基础架构长啥样

架构上支持动态伸缩，说人话就是：平时流量小的时候可以少开几台机器省点钱，赶上双十一这种大促，加机器就能扛住更大的量。

功能长啥样？来看看界面

首页大盘

一进来就是综合看板，系统跑得咋样、数据有没有对齐、数据源健不健康、有没有告警，一目了然。

数据流统计

这块主要是看数据流跑得顺不顺，服务器压力大不大。

点一下 CPU 或者内存，还能看到服务器的详细运行状态：

想看更细的？服务监控里面啥都有：

查询模板统计

查询模板被调了多少次、服务器负载怎么样，这里都能看到：

数据管理

数据流

这是整个平台的核心功能了。想怎么配数据流就怎么配，拖拖拽拽就能搞定数据同步、清洗、过滤，全程零代码。

数据流列表

先看看手头有哪些数据流任务：

数据流画布

重头戏来了！在这个画布上，数据同步、清洗、过滤、生成报表，想干啥干啥，不用写一行代码。

发布的时候资源可控，节点挂了自动容错，还能动态扩容。服务节点越多，性能越猛。关键是支持多版本管理，改出问题了一键回滚，稳得很。

数据流实时运行日志

跑着的任务啥情况，日志实时刷：

数据流发布记录

历史版本都在这儿，想回滚到哪个版本就回滚到哪个版本：

图片

数据源

支持的数据源挺多的，而且是插件化设计，后面想加新数据源也方便。

数据源创建

新建数据源长这样：

数据源控制台

不同数据源有不同的控制台界面，比如 MySQL、StarRocks、Doris、Oracle 这些关系型的：

Kafka 控制台：

Elasticsearch 控制台：

还有其他的就不一一展示了。

数据对齐

这个功能挺实用的。简单配一配，就能校验两个数据源之间的数据是否一致，不管是不同类型的库还是不同的表、索引，都能搞定。发现不一致还能自动修复，省心。

数据对齐列表

一眼看清有哪些对齐任务：

数据对齐创建

配置什么时候触发、用什么对齐策略（数量一致、内容一致、随机抽查等）、对比哪个时间段的数据，都可以自定义：

数据对齐日志

任务跑得怎么样，这里看：

数据对齐日志详情

哪条数据不一致、哪个字段有差异，都给你列得清清楚楚：

查询模板

这个功能对后端开发来说太友好了。配个查询模板，直接就能对外提供数据接口，不用再写一堆报表查询代码了。

查询模板列表

支持版本控制、密钥管理、权限配置，该有的都有：

查询模板创建

支持动态条件、分表查询：

还能配限流、日志记录、缓存这些：

预览页面带示例文档，还能快速测试。测完没问题直接点发布，外部就能调用了：

查询模板调用日志

每次调用都有记录，出问题了好追溯：

查询日志详情：

性能咋样？

跑了下性能测试，单实例的情况下：

模式 硬件规格 实例数量 速率（单任务）
监听-流处理 6c12g 1 30058/s
批处理 6c12g 1 60268/s
文章目录
  1. 1. 先说说这玩意有啥亮点
  2. 2. 基础架构长啥样
  3. 3. 功能长啥样？来看看界面
    1. 3.1. 首页大盘
      1. 3.1.1. 数据流统计
      2. 3.1.2. 查询模板统计
    2. 3.2. 数据管理
      1. 3.2.1. 数据流
        1. 3.2.1.1. 数据流列表
        2. 3.2.1.2. 数据流画布
        3. 3.2.1.3. 数据流实时运行日志
        4. 3.2.1.4. 数据流发布记录
      2. 3.2.2. 数据源
        1. 3.2.2.1. 数据源创建
        2. 3.2.2.2. 数据源控制台
      3. 3.2.3. 数据对齐
        1. 3.2.3.1. 数据对齐列表
        2. 3.2.3.2. 数据对齐创建
        3. 3.2.3.3. 数据对齐日志
        4. 3.2.3.4. 数据对齐日志详情
      4. 3.2.4. 查询模板
        1. 3.2.4.1. 查询模板列表
        2. 3.2.4.2. 查询模板创建
        3. 3.2.4.3. 查询模板调用日志
  4. 4. 性能咋样？