版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/Anbang713/article/details/82858745
一、reduce端join操作原理
二、map端join操作原理
三、适用场景
如果两个RDD要进行join，其中一个RDD是比较小的。一个RDD是100万数据，一个RDD是1万数据。（一个RDD是1亿数据，一个RDD是100万数据） 其中一个RDD必须是比较小的，broadcast出去那个小RDD的数据以后，就会在每个executor的block manager中都驻留一份。要确保你的内存足够存放那个小RDD中的数据 这种方式下，根本不会发生shuffle操作，肯定也不会发生数据倾斜。从根本上杜绝了join操作可能导致的数据倾斜的问题，对于join中有数据倾斜的情况，大家尽量第一时间先考虑这种方式。
不适合的情况：两个RDD都比较大，那么这个时候，你去将其中一个RDD做成broadcast就很笨拙了。很可能导致内存不足，最终导致内存溢出，程序挂掉。 而且其中某些key（或者是某个key）还发生了数据倾斜。
四、其它说明
对于join这种操作不光是考虑数据倾斜的问题，即使是没有数据倾斜问题，也完全可以优先考虑将reduce join转map join的技术，不要用普通的join去通过shuffle进行数据的join。完全可以通过简单的map，使用map join的方式，牺牲一点内存资源。在可行的情况下，不走shuffle直接走map性能肯定是能得到提升的。