代码天地

Spark（五十一）：Spark On YARN（Yarn-Cluster模式）启动流程源码分析（二） Spark（四十九）：Spark On YARN启动流程源码分析（一）

上篇《Spark（四十九）：Spark On YARN启动流程源码分析（一）》我们讲到启动SparkContext初始化，ApplicationMaster启动资源中，讲解的内容明显不完整。本章将针对yarn-cluster（--master yarn –deploy-mode cluster）模式下全面进行代码补充解读： 1）什么时候初始化SparkContext； 2）如何实现ApplicationMaster如何启动executor； 3）启动后如何通过rpc实现executor与dr

分类: 其他发布时间: 06-25 23:14 阅读次数: 0

day02 Python完结

一、常用数据类型及内置法 1 列表定义：列表是Python中内置有序、可变序列，列表的所有元素放在一对中括号“[]”中，并使用逗号分隔开；当列表元素增加或删除时，列表对象自动进行扩展或收缩内存，保证元素之间没有缝隙；在Python中，一个列表中的数据类型可以各不相同，可以同时分别为整数、实数、字符串等基本类型，甚至是列表、元组、字典、集合以及其他自定义类型的对象。　　　　[10, 20, 30, 40] 　　　　['crunchy frog', 'ram bladder', 'la

分类: 其他发布时间: 06-25 23:14 阅读次数: 0

学习python多的第二天

今天主要学习内容：　　1、常用数据类型及其内置方法　　2、文件处理　　3、函数一、数据类型　　1、列表类型　　　　定义：在[]内，可以存放多个任意类型的值，并以逗号隔开。　　如：　　　　 #定义一个学生列表，可存放多个学生student = ['YuSheng','JieGuo','ChengZhang']print(student[1]) 　　优先掌握的操作： 1)、按索引存取值(正向存取+反向存取)：即可存也可以取 2)、切片(顾头不顾尾，步长) 3)、长度 4)、成员运算

分类: 其他发布时间: 06-25 23:14 阅读次数: 0

Day 27 网络编程1

目录网络编程1 网络架构 1. 单机架构 2. C/S架构 3. B/S架构互联网和互联网的组成边缘部分:客户端/服务端,负责收发数据核心部分:传输网络的设备,路由,基站等.负责数据的传输互联网的组成 OSI七层协议物理层数据链路层网络层传输层应用程序网络编程1 网络架构 1. 单机架构单机游戏 2. C/S架构 cs--->client客户/server服务客户端:用户安装的软件服务端:统一管理数据库的主机中的软件就叫做服务端,再后来服务端不只是管理数据,外加处理

分类: 其他发布时间: 06-25 23:14 阅读次数: 0

机器学习实记(一)简介机器学习

一.写在前面　　本系列中的内容来自对李宏毅老师的机器学习教程的理解和一些个人理解的笔记，主要用于之后方便查看复习。李宏毅老师的机器学习教程地址:https://www.bilibili.com/video/av35932863?from=search&seid=3902369523652897681。二.机器学习概念 2.1人工智能、机器学习、深度学习这几个概念的关系　　要想理解清楚机器学习的基本概念，首先要明白机器学习在人工智能领域中所处的位置，再简单明了些首先要明白人工智能、机器学习

分类: 其他发布时间: 06-25 23:14 阅读次数: 0

Newtonsoft.Json 指定某个属性使用特定的时间格式

原文:Newtonsoft.Json 指定某个属性使用特定的时间格式 Newtonsoft.Json 指定某个属性使用特定的时间格式 Intro Newtonsoft.Json 是 .NET 下最受欢迎 JSON 操作库，原为 JSON.Net 后改名为 Newtonsoft.Json，之前一直推荐大家使用，除了性能好之外，主要是功能丰富，基本满足所有的可能用到的场景（不区分小写，现在还不行，，）。遇到这样一个需求，全局使用一种时间格式，某些属性使用特殊的时间格式，这里以一个日期为例 Sol

分类: 其他发布时间: 06-25 23:14 阅读次数: 0

数据持久化之Data volume

数据持久化之Data volume # 首先我们需要拉取一个mysql的docker镜像 docker search mysql：选择相应的下载，我这里使用的是5.7 # 通过-v选项指定数据存储的挂在位置；但是实际操作过程中这个目录好像不一致，需要注意一下 docker run -itd -v mysql:/var/lib/mysql --name mysql1 -e MYSQL_ROOT_PASSWORD="123..com" centos/mysql-57-centos7 docker

分类: 其他发布时间: 06-25 23:14 阅读次数: 0

什么是高防服务器？

高防服务器：英文翻译是Highdefenseserver，就是指能够防止DDoS/CC***的服务器。是独立单个防御50G以上的服务器类型，可以为单个客户提供网络安全维护的服务器类型，对于有需要的网站来说，可以通过高防服务器阻止来自DDoS/CC的***。DDOS是一种分布式拒绝服务***，***利用DDOS***器控制多台机器同时***来达到“妨碍正常使用者使用服务”的目的，这样就形成了DDOS***；CC攻