Spark-源码学习-SparkSQL-Join 体系-BroadcastHashJoinExec

一、概述

BroadcastJoinExec 主要思想是对小表进行广播操作，避免大量 Shuffle 的产生。这也是一种常见的思路，在 Spark SQL 中，对两个表做 Join 操作最直接的方式是先根据 key 分区，然后在每个分区中把 key 值相同的记录提取出来进行连接操作。这种方式不可避免地涉及数据的 Shuffle，而 Shufle 是比较耗时的操作。因此，当一个大表和一个小表进行 Join 操作时，为了避免数据的 Shufle，可以将小表的全部数据分发到每个节点上，供大表直接使用。

二、实现

三、执行机制

BroadcastJoinExec 主要思想是对小表进行广播操作，避免大量 Shuffle 的产生，在 Spark SQL 中，对两个表做 Join 操作最直接的方式是先根据 key 分区，然后在每个分区中把 key 值相同的记录提取出来进行连接操作。这种方式不可避免地涉及数据的 Shuffle，而 Shufle 是比较耗时的操作。因此，当一个大表和一个小表进行 Join 操作时，为了避免数据的 Shufle，可以将小表的全部数据分发到每个节点上，供大表直接使用。