一、概述

Spark SQL 优先级次之的是 ShuffledHashJoinExec，ShuffledHashJoinExec 执行需要满足多种条件。 ShuffledHashJoinExec 的构造同样分为 BuildLeft 和 BuildRight 两种情况，以 BuildRight 为例:

  1. 配置中优先开启 SortMergeJoin 的参数 spark.sql.join.preferSortMerge 设置为 false
  2. 右表需要满足能够”构建” ($canBuildRight$) 和能够建立 HashMap ($canBuildLocalHashMap$)
  3. 右表的数据量要比左表的数据量小很多(3 倍以上)

此外，还有一种生成 ShuffledHashJoinExec 的情况是参与连接的 key 不具有排序的特性。

二、执行