21讲吃透实时流计算视频课程

课程介绍

课程来自 21 个实时流计算视频课程

近年来，随着越来越多的企业对实时数据提出高要求，实时流计算技术也越来越火爆，阿里巴巴、字节跳动、京东等互联网大公司纷纷涌现使用它来处理用户兴趣分析、实时异常检测、在线反欺诈和金融风险控制等实时服务。

如何解决实时流计算问题？

既然问题已经确定，我们应该如何克服它？我认为可以在系统架构和实时算法方面取得突破。

系统架构

从架构师的角度来看，要为一个产品设计一个好的实现方案，需要有足够的技术储备和对具体业务问题的充分理解。通过分析各种实时业务场景，我们可以发现大部分解决方案都是基于“流计算”技术的。

“流计算”本质上是一种“异步”的编程方式。就像“流水”一样，业务数据通过“管道”，即“队列”，不断地流向各个环节的子系统，然后由各个环节的子系统独立处理。因此，为了更快地处理“流”，可以通过增加流水线的数量来提高流计算系统的并行处理能力。

目前虽然有很多开源的流计算框架（如Storm、Spark Streaming、Samza和Flink），但其实在这些主流框架的背后，有一套类似的设计思路和架构模式。它们都涉及流式数据状态、流式信息状态、反向压力、消息可靠性等概念。先了解这套设计思想和架构模式，可以帮助你快速掌握所有主流流计算框架的工作原理。

实时算法

系统架构提供了一个整体的计算框架，但要实现具体的业务功能，还需要为“流式数据”设计合适的算法。毕竟，与传统的“块数据”相比，“流数据”需要连续实时处理。

对于实时流计算中的算法，最核心的问题是解决“大数据量”与“实时计算”的矛盾。有了大量数据，几乎所有事情都会变得复杂而缓慢。 “数据量大”的问题集中在四个方面：时间窗口长、业务请求量大、内存有限、数据的跨网络访问。

为了达到“实时计算”的效果，需要对算法进行非常仔细的设计。幸运的是，这些算法的设计和实现都有规则。你只需要掌握几种特定类型的算法，如count、sum、mean、variance、histogram、quantile、HyperLogLog等。对于更复杂的算法，如果不能直接进行实时计算，我们可以通过Lambda 架构！

课程设计理念

本课程带你从“系统架构”和“实时算法”两个角度了解实时流计算系统。为此，我为您设计了以下学习路径。 （注意模块三是“实时算法”部分，其余模块与“系统架构”相关。）

模块 1，实时流计算简介。我会介绍流计算系统的整体架构和使用场景，以及在开始使用流计算之前需要掌握的编程基础，例如NIO和异步编程，以及异步中的OOM和背压问题系统。

这样，您将对实时流计算系统有一个全面的了解，并对“流”的本质有一个初步的认识。

模块2，自己做一个流计算框架。我将从JDK中最基本的工具类开始，逐步介绍如何开发分布式流计算框架。

希望通过这种自己动手的方式，帮助大家理解流计算系统的核心概念和实现原理。

模块 3，核心技术。我将详细解释流计算可以解决的问题类型，包括流数据操作、时间维度聚合计算、相关图分析、事件序列分析、模型学习和预测。此外，还将讨论流计算过程中非常重要的状态管理问题，并带大家思考如何最终将之前的流计算框架扩展到分布式系统。

通过此，您将掌握实时流计算中涉及的各种算法，这将帮助您解决各种实时业务场景中的问题。

模块四：开源流计算框架原理解析与实战。我会详细对比和分析各种开源流计算框架的具体实现，巩固你对流计算核心概念和技术的理解，带领你正确理解这些框架的API设计，让你能用在各种业务场景中。灵活运用，最终实现各种复杂的业务逻辑。

另外，我将通过实时风控和实时数据同步两个案例来帮助大家了解如何将开源流计算框架应用到具体的业务场景中。

文件目录

21谈实时流计算.rar