spark 源码分析之十九 -- Stage的提交 spark 源码分析之十九 -- DAG的生成和Stage的划分 spark 源码分析之十九 -- DAG的生成和Stage的划分 spark 源码分析之三 -- LiveListenerBus介绍 spark 源码分析之十九 -- DAG的生成和Stage的划分 spark 源码分析之四 -- TaskScheduler的创建和启动过程
引言 上篇 spark 源码分析之十九 -- DAG的生成和Stage的划分 中，主要介绍了下图中的前两个阶段DAG的构建和Stage的划分。 本篇文章主要剖析，Stage是如何提交的。 rdd的依赖关系构成了DAG，DAGScheduler根据shuffle依赖关系将DAG图划分为一个一个小的stage。具体可以看 spark 源码分析之十九 -- DAG的生成和Stage的划分 做进一步了解。 紧接上篇文章 上篇文章中，DAGScheduler的handleJobSubmitted方法我们
Linux学习第二、三章作业.zxs
chapter02 - 03 作业 1、分别用cat \tac\nl三个命令查看文件/etc/ssh/sshd_config文件中的内容，并用自己的话总计出这三个文档操作命令的不同之处？ cat:正序 tac：反序 nl：有序号不显示空行 2、分别用more和less查看/etc/ssh/sshd_config里面的内容，请用总结more和less两个命令的相同和不同之处？ 1. less可以按键盘上下方向键显示上下内容,more不能通过上下方向键控制显示 2. less不必读整个文件，加载速
【Leetcode_easy】953. Verifying an Alien Dictionary
problem 953. Verifying an Alien Dictionary 参考 1. Leetcode_easy_953. Verifying an Alien Dictionary; 完
【关于博文图片丢失】
因为之前用CSDN博客，搬家过来之后有些是无法正常显示的，所以如果看到我发很早之前的博文那是我在一篇篇的改... 不是脑子抽了 如果有看到博文图片丢失情况的，也可以联系博主(q1503104479)修改，谢谢.
【Leetcode_easy】961. N-Repeated Element in Size 2N Array
problem 961. N-Repeated Element in Size 2N Array 参考 1. Leetcode_easy_961. N-Repeated Element in Size 2N Array; 完
7.26T2某不科学的迷你激光炮
题目描述 身为课代表的她，下课总愿意帮老师发作业。老师的作业好多好多啊，一天 下来，她下课休息时间也无几了…… 要是天花板上有一只激光炮该多好啊！把作业塞到激光炮里面，轰——一排 同学该都拿到作业了吧？如果激光炮装在了一排同学的中间，转来转去很不方便， 改装成同时往相对的两个方向发射不是更好吗？（嗯，抵消反冲力）这样发作业 该有多快啊，她能多省心啊！ 可是因为激光炮太重了，转不动也移不动——嗯，没错，该在天花板上装上 轨道！嗯——这样，激光炮就可以平移了，可是……呃——还是不能转起来！ 那只好
[NLP] 相对位置编码(二) Relative Positional Encodings - Transformer-XL
参考： 1. Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context https://arxiv.org/pdf/1901.02860.pdf 2. Self-Attention with Relative Position Representations (shaw et al.2018): https://arxiv.org/pdf/1803.02155.pdf 3. [NLP] 相对位置编码(一) R
【基数排序】基数排序
Algorithm Task 给定 \(n\) 个整数，请排序后输出 Limitations 要求时间复杂度 \(O((n + T)\log_TA)\)，空间复杂度 \(O(T)\) ，其中 \(T = 32768\)， \(A\) 是序列中最大元素的值 Solution 前两天小 迷 学妹问我基数排序怎么写，然后我就想起来以前给 ddosvoid 大爷口胡过一个排序，大爷听完说这就是基排，于是就讲给了小学妹(雾)，但是我并不确定这是不是基排(((，总之复杂度一致就完事了 考虑桶排序，将所有数
OOP三大特性之多态
官方描述：不同对象可以响应（调用）同一个方法，产生不同的结果 （对猫，狗，发出吃的命令时，猫去吃鱼，狗去吃骨头） 好处：提高程序的扩展性 具体的：父类建立一套规范，无需实现内部的方法，子类按照这套规范实现各自的功能 import abc
class Animal(metaclass=abc.ABCMeta):
@abc.abstractmethod
def talk(self): 父类定义的规范，子类必须拥有
Egret入门学习日记 --- 第十七篇（书中 7.4~8.2节 内容）
第十七篇（书中 7.4~8.2节 内容） 昨天看到 7.3 节，那么今天。 开始 7.4节。 好吧，这些其他的服务器运行知识，就不搞了。。。 至此，7.4节 内容结束。 开始 7.5节 内容。 额。。。后期接触到，我会去整整看的。现在先专心搞Egret。 至此，7.5节 内容结束。 开始 7.6节 内容。 · 嗯。。。
黑洞路由，避免路由环路
默认路由一般配置在边界路由器上，如果不知道去往公网isp的下一条地址，可以用出口接口来代替，比如：iproute-static0.0.0.00ｇ0/0/0如果因为一些实际情况，必须在内网的两个路由器之间配置默认路由，为了避免某些路由匹配中途断掉，走默认路由形成环路，必须配上黑洞路由（黑洞路由，将所有无关路由吸入其中，使它们有来无回的路由），NULL0如：iproute-static10.0.0.0
new HashMap()和Maps.newHashMap()的区别以及 newHashMapWithExpectedSize()
1、new HashMap() 这种是java原生API写法，需要你手动加泛型。存在线程安全问题，在扩容计算hash的时候会出现安全问题，在rehash方法中，有兴趣的可以去看一下源码Map<String, Object> result = new
[转]学习观0-5集合&思维导图
转自 知乎大佬：YJango B站地址 up主的视频信息高度浓缩，任何一个动画都不是多余的。 看视频的人会产生两个极端：一部分会觉得帮他们理清了关系，因为他们在看的过程中会联想身边的例子，而不联想身边现象的人会觉得视频很糟糕。 01 什么是学习 02 怎样学习才能被人脑接受 03 知识的种类，以及学习过程中有哪些误区 04 分而治之为什么好用 00 这些知识是从机器学习理论借鉴的 05 思维导图是怎么做到 03 和 04 中提到的克服误区和分而治之 5.5 如何设计画思维导图的步骤 7分钟入门
Python之如何修改运行的快捷键
如果你在Pycharm中运行程序使用Ctrl+shift+F10快捷键,运行失败，使用Pycharm工具组，右键一下选择“Run+文件名称AAA”运行程序，直接运行成功的话，那么你就可以 更换自己的运行快捷键了，应该是Pycharm 中的快捷键和计算机的其他快捷键冲突了，那么如何修改呢？ 1、选择File-->Settings-->Keymap-->搜索框输入run--->找到对应显示的这一栏，先选择Remove--->然后选择Add keybord Shortcut--->之后选择自己想要的
今日推荐
周排行