Apache Spark 中支持的七种 Join 类型简介
ApacheSpark中支持的七种Join类型简介过往记忆大数据过往记忆大数据数据分析中将两个数据集进行Join操作是很常见的场景。我在这篇文章中介绍了Spark支持的五种Join策略，本文我将给大家介绍一下ApacheSpark中支持的Join类型（JoinType）。目前ApacheSpark3.0版本中，一共支持以下七种Join类型：•INNERJOIN•CROSSJOIN•LEFTOUTE
NA(Nirvana) Chain主打应用而生NA公链 NAC公链
不同于传统行业通常以“解决某个问题”为研究出发点，区块链的出现与成长有着更多迷茫，也有着毫无限制的无边界感。如今这个时代，区块链已经成为“方案模式”，我们不缺乏技术，只是缺少发现问题的视野。在区块链世界里，有很多人前赴后继，他们将区块链技术翻来覆去地研究、探索、延伸，以求找到适宜这项技术生根发芽的领域。#异构复合链#区块链发展到今天，公链已经成为人们十分熟悉的名词。公链的出现是区块链技术开始走向应
并发编程之Unsafe魔法类详解
1. unsafe类详解Unsafe是位于sun.misc包下的一个类，主要提供一些用于执行低级别、不安全操作的方法，如直接访问系统内存资源、自主管理内存资源等，这些方法在提升Java运行效率、增强Java语言底层资源操作能力方面起到了很大的作用。但由于Unsafe类使Java语言拥有了类似C语言指针一样操作内存空间的能力，这无疑也增加了程序发生相关指针问题的风险。在程序中过度、不正确...
并发编程之Executor线程池
1. 线程池简介1.1 线程池：“线程池”，顾名思义就是一个线程缓存，线程是稀缺资源，如果被无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，因此Java中提供线程池对线程进行统一分配、调优和监控；1.2 线程池介绍在web开发中，服务器需要接受并处理请求，所以会为一个请求来分配一个线程来进行处理。如果每次请求都新创建一个线程的话实现起来非常简便，但是存在一个问题：如果并发的请求数量...
java基础之Hash详解
1.HashMap数据结构java1.7及以前 HasMap会产生死锁，java1.8及以后不会有死锁1.7基础数据模型：数组+链表死锁原因：HashMap在多线程的场景下，扩容期间存在节点位置互换指针引用的问题有可能导致死锁；put时：数据丢失1.8基础数据模型：数组+链表+红黑树*1.7中HashMap的put时扩容的源码：* /** *使用 *容量更大。当 *此映射...
IO系列(一) IO模型基础详解
Java共支持3种网络编程IO模式：BIO，NIO，AIO；IO模型就是说用什么样的通道进行数据的发送和接收，1. BIO(Blocking IO)同步阻塞模型，一个客户端连接对应一个处理线程缺点：1、IO代码里read操作是阻塞操作，如果连接不做数据读写操作会导致线程阻塞，浪费资源2、如果线程很多，会导致服务器线程太多，压力太大。...
IO系列(二) netty组件及线程模型详解
简介：Netty是一个NIO客户端服务器框架，可以快速轻松地开发网络应用程序，例如协议服务器和客户端。它极大地简化和简化了网络编程，例如TCP和UDP套接字服务器。Netty的使用场景：互联网行业：在分布式系统中，各个节点之间需要远程服务调用，高性能的 RPC 框架必不可少， Netty 作为异步高性能的通信框架，往往作为基础通信组件被这些 RPC 框架使用。典型的应用有：阿 里分布式服务框架...
spring cloud Alibaba系列(一)nacos配置中心使用详解
简介spring cloud Alibaba是spring cloud的一个子项目，听过了微服务开发的一整套企业级解决方案；包含了微服务开发的必要组件是阿里的微服务解决方案nacos简介：Nacos 致力于帮助您发现、配置和管理微服务。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据及流量管理。1.Nacos服务端搭建nacos下载地址：h...
maven打包把第三方的jar放到外部lib目录只留下自己指定的jar
我这里是springBoot打包时遇到的问题；每次打包上传测试都要把第三方不变jar在上传一遍而且打包后的这些jar包也是占比最多的，无论是占用的带宽还是时长都是可以优化的一 .maven打war包：增加插件：packagingIncludes这个标签里是指定打包时保留的jar <plugin> <artifactId>maven-compiler-plugin</artifactId>
skywalking部署及使用看这篇就够了文档
版本：JDK1.8ES：6.6+这里使用的是当前最新包：apache-skywalking-apm-8.1.0下载安装包：wget https://mirrors.tuna.tsinghua.edu.cn/apache/skywalking/8.1.0/apache-skywalking-apm-8.1.0.tar.gz解压并进入config目录：tar -zxvf apache-skywalking-apm-8.1.0.tarcd config修改application.yml配置文件
elasticSearch系列(一)从零到一简介及搭建
一 . Elasticsearch是什么 Elasticsearch是一个高度可扩展的开源全文本搜索和分析引擎。它可以快速，近实时地存储，搜索和分析大量数据。它通常用作支持具有复杂搜索功能和要求的应用程序的基础引擎。ES分布式的索引库，nosql 对外提供检索服务：http或者transport（7.0后不再支持）协议对外提供搜索，Restful的json 对内就是一个数据库nosql二 . Elasticsearch的场景 电商网站。允许客户搜索产品。可以使用...
docker系列(一)部署安装与卸载
环境：centos1：Docker要求CentOS系统的内核版本高于 3.10 ，通过uname -r命令查看你当前的内核版本是否支持安账docker2：查看仓库中docker版本，并选择特定版本安装：yum list docker-ce --showduplicates | sort -r...
docker系列(二)docker file及docker maven
docker file命令解释大全1. docker file基础指令dockerfile组成 指令 基础镜像指令 FROM 维护者信息 MAINTAINER 镜像操作指令 RUN COPY. ADD、EXPOSE等 容器启动时执行 CMD、ENTRYPOINT 2. Dockerfile指令详解docker file 指令 Dockerfile指令 使用说明 FROM 第一条指令必须为FROM指令，指定Base镜像 MAI
Kubernetes系列(一)部署及安装（未完成中）
1.什么是Kuberneteskuberneter是一个生成级别的开源平台，可协调在计算机集群内核跨计算机集群的应用容器的部署(调度)和执行，他具有完备的集群管理能力，包括多层次的安全防护和准入机制，多租户应用支撑能力，透明的服务注册和服务发现机制，内建智能负载均衡器，和强大的故障发现和自我修复能力，服务滚动升级，和在线扩容能力，可扩展的资源自动调度机制，以及多粒度的资源配置管理能力kubernetes是一个开放的平台，不局限于任何一种语言，没有限定的任何编程接口，所以不论使用java，Go，C++还是
ELK 日志收集系统方案
背景在项目初期的时候，大家都是赶着上线，一般来说对日志没有过多的考虑，当然日志量也不大，所以用log4j就够了，随着应用的越来越多，日志散落在各个服务器的logs文件夹下，确实有点不大方便。或者是分布式系统：当我们需要日志分析的时候你大概会这么做：直接在日志文件中 grep、awk就可以获得自己想要的信息。这就造成了日志查询极其繁琐；如果日志中有敏感数据，也要考虑是否开放给所有人可能遇到的问题：日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询应用太多，面临数十上百台应用时你该怎么办，随意登录
C++ STL复习（12）无序容器
和关联式容器一样，无序容器也使用键值对（pair 类型）的方式存储数据。不过，它们有本质上的不同：关联式容器的底层实现采用的树存储结构，更确切的说是红黑树结构；无序容器的底层实现采用的是哈希表的存储结构。基于底层实现采用了不同的数据结构，因此和关联式容器相比，无序容器具有以下 2 个特点：无序容器内部存储的键值对是无序的，各键值对的存储位置取决于该键值对中的键；和关联式容器相比，无序容器擅长通过指定键查找对应的值（平均时间复杂度为 O(1)）；但对于使用迭代器遍历容器中存储的元素，无序容器的
C++ STL复习（13）容器适配器
STL 提供了 3 种容器适配器，分别为 stack 栈适配器、queue 队列适配器以及 priority_queue 优先权队列适配器。不同场景下，由于不同的序列式容器其底层采用的数据结构不同，因此容器适配器的执行效率也不尽相同。1 stack容器适配器stack 栈适配器是一种单端开口的容器，实际上该容器模拟的就是栈存储结构，即无论是向里存数据还是从中取数据，都只能从这一个开口实现操作。stack 适配器的开头端通常称为栈顶。由于数据的存和取只能从栈顶处进行操作，因此对于存取数据，stac
今日推荐
周排行