Python基础之:Python的数据结构

简介: 不管是做科学计算还是编写应用程序,都需要使用到一些基本的数据结构,比如列表,元组,字典等。 本文将会详细讲解Python中的这些基础数据结构。简介不管是做科学计算还是编写应用程序,都需要使用到一些基本的数据结构,比如列表,元组,字典等。本文将会详细讲解Python中的这些基础数据结构。列表列表也就是list,可以用方括号来表示:In [40]: ages = [ 10, 14, 18, 20 ,25]In [41]: agesOut[41]: [10, 14, 18,
分类: 其他 发布时间: 03-31 10:45 阅读次数: 0

Flink 必知必会经典课程2:Stream Processing with Apache Flink

简介:本篇内容包含三部分展开介绍Stream Processing with Apache Flink:1、并行处理和编程范式;2、DataStream API概览及简单应用;3、 Flink 中的状态和时间。作者|崔星灿本篇内容包含三部分展开介绍Stream Processing with Apache Flink:并行处理和编程范式 DataStream API概览及简单应用 Flink 中的状态和时间一、并行处理和编程范式众所周知,对于计算密集型或数据密集型这样需要计算量.
分类: 其他 发布时间: 03-31 10:45 阅读次数: 0

Raft成员变更的工程实践

简介: 成员变更是一致性系统实现绕不开的难题,对于提升运维能力以及服务可用性都有很大的帮助。 本文从Raft成员变更理论出发,介绍了Raft成员变更和单步成员变更的问题,其中包括Raft著名的Bug。 对于Raft成员变更的工程实现上需要考虑的问题,本文给出了一些工程实践经验。一 引言成员变更是一致性系统实现绕不开的难题,对于提升运维能力以及服务可用性都有很大的帮助。本文从Raft成员变更理论出发,介绍了Raft成员变更和单步成员变更的问题,其中包括Raft著名的Bug。...
分类: 其他 发布时间: 03-31 10:45 阅读次数: 0

2021-03-24Java 实体映射工具 MapStruct

简介: 让你的DO(业务实体对象),DTO(数据传输对象)数据转换更简单强大前言 在软件架构中,分层式结构是最常见,各层之间有其独立且隔离的业务逻辑,也因而各层有自己的输入输出对象,也就是代码中见到各种O,如DO、DTO、VO,这些数据对象之间通常都有很多相同或相近的属性对象,数据在传输的过程中从一个O到另一个O,就通常需要赋值,从最初的的get/set personDTO.setName(personDO.getName());personDTO.setAge(personD...
分类: 其他 发布时间: 03-31 10:45 阅读次数: 0

数据仓库如何实现湖仓一体数据分析?

简介: 随着云计算的普及和数据分析需求的扩大,数据湖+数据仓库的湖仓一体分析能力成为下一代数据分析系统的核心能力。相对于数据仓库,数据湖在成本、灵活性、多源数据分析等多方面,都有着非常明显的优势。IDC发布的十项2021年中国云计算市场趋势预测中,有三项和数据湖分析有关。可以预见,跨系统集成能力、数据控制能力和更加全面的数据驱动能力,将会是未来数据分析系统重要的竞争领域。一. 背景随着云计算的普及和数据分析需求的扩大,数据湖+数据仓库的湖仓一体分析能力成为下一代数据分析系统的核心能力。相对于数据仓库
分类: 其他 发布时间: 03-31 10:45 阅读次数: 0

通篇干货!纵观 PolarDB-X 并行计算框架

简介: 本文将对整个分布式并行执行框架做详细的介绍,希望阅读之后对我们的执行器有一个全面的认识。作者:玄弟 七锋PolarDB-X 面向 HTAP 的混合执行器 一文详细说明了PolarDB-X执行器设计的初衷,其初衷一直是致力于为PolarDB-X注入并行计算的能力,兼顾TP和AP场景,逐渐为其打造一款具备TB级数据处理能力的数据库。为了做到这一点,借鉴了各种数据库和大数据库产品,包括分析型数据库,实时数仓等,吸取了各方面的优势来打造出一个全新的并行执行引擎。这里将对整个分布式并行执行..
分类: 其他 发布时间: 03-31 10:45 阅读次数: 0

Redis 的高并发实战:抢购系统 --浅奕

简介: 主要内容: 一、IO 模型和问题 二、资源竞争与分布式锁 三、Redis 抢购系统实例主要内容:一、IO 模型和问题二、资源竞争与分布式锁三、Redis 抢购系统实例一、IO 模型和问题1)Run-to-Completion in a solo threadRedis社区版的IO模型比较简单,通常是由一个 IO线程实现所有命令的解析与处理。问题是如果有一条慢查询命令,其他的查询都要排队。即当一个客户端执行一个命令执行很慢的时候,后面的命令都会被阻塞。使用 Sen.
分类: 其他 发布时间: 03-31 10:44 阅读次数: 0

使用MaxCompute连接访问Hologres开发实践

简介: 很多客户使用MaxCompute和Hologres的集成方案同时满足大规模离线分析、实时运营分析、交互式查询及在线Serving等多业务场景。MaxCompute和Hologres之间支持相互读写对方数据,能够消除不必要的数据冗余,形成有效的数据分层并支持离线/实时统一视图和联合分析。本文重点介绍了MaxCompute如何访问Hologres数据的开发实践。使用MaxCompute连接访问Hologres开发实践前言MaxCompute(大数据计算服务)是阿里云Serverless、全托
分类: 其他 发布时间: 03-31 10:44 阅读次数: 0

IoT物联网平台「设备影子」开发实战

简介: IoT物联网平台「设备影子」开发实战IoT物联网平台提供设备影子功能,在云端通过一个JSON文件持久化存储设备上报状态值和业务系统的期望值。每个设备有且只有一个设备影子,设备可以通过MQTT协议获取期望值desired和设置设备状态reported,业务系统通过HTTPS协议获取设备状态reported和设置设备期望值desired。设备可以主动上报运行状态,业务系统可以随时读取,而不需要关心设备是否在线。 当云端业务系统给指定设备设置期望值后,如果设备在线,可以实时接收云端期望.
分类: 其他 发布时间: 03-31 10:44 阅读次数: 0

Flink 执行引擎:流批一体的融合之路

简介:本文由 Apache Flink Committer 马国维分享,主要介绍 Flink 作为大数据计算引擎的流批一体融合之路。本文由 Apache Flink Committer 马国维分享,主要介绍 Flink 作为大数据计算引擎的流批一体融合之路。内容包括:1、背景2、流批一体的分层架构3、流批一体DataStream4、流批一体DAG Scheduler5、流批一体的Shuffle架构6、流批一体的容错策略7、未来展望一、背景随着互联网和移动互联网的不断发展,各.
分类: 其他 发布时间: 03-31 10:44 阅读次数: 0

《微服务架构设计》之 正确打开方式

简介: 随着软件系统架构的发展,我们经历了从单体应用到分布式系统,并且逐步向云原生迈进,而其中微服务架构是最具有代表性,但在微服务设计时又存在各式各样的问题,希望此文能够帮助大家在微服务架构设计时提供思路和指导。前言&背景故事开始前先给大家讲一个段子,近些年随着软件系统架构的发展,我们经历了从单体应用到分布式系统,并且逐步向云原生迈进,而其中微服务架构是最具有代表性,但在微服务设计时又存在各式各样的问题,比如微服务拆分粒度过细,服务间调用深度过长,可能就要重新梳理业务考虑进行服务合并,这时就
分类: 其他 发布时间: 03-31 10:44 阅读次数: 0

揭开RedisShake的秘密

简介: RedisShake的设计思想,底层实现以及丰富的应用场景介绍。本文为直播内容文字整理,看直播回放,请点击文首链接~查看精彩回放:https://developer.aliyun.com/live/145188内容简要:一、背景二、RedisShake基本原理三、应用场景一、背景(一)RedisShake能做什么如上图所示,RedisShake主要能做的事情有数据迁移、版本变更、架构变更与容灾等。现在大部分的数据库都支持集群版的数据,也就是说一个逻辑单..
分类: 其他 发布时间: 03-31 10:44 阅读次数: 0

走进MongoShake

简介: 阿里云数据库NoSQL团队技术专家烛昭在阿里云开发者社区特别栏目《周二开源日》直播中,介绍了MongoShake的基本原理,并结合典型的应用案例介绍MongoShake的应用场景。本文为直播内容文字整理,看直播回放,请点击文首链接~查看精彩回放:https://developer.aliyun.com/live/45078内容简要一、背景二、MongoShake基本原理三、经典案例一、背景(一)MongoDB基本概念MongoDB基本概念主要有三个:Oplog、.
分类: 其他 发布时间: 03-31 10:44 阅读次数: 0

Hudi on Flink 快速上手指南

简介: 本文由阿里巴巴的陈玉兆分享,主要介绍 Flink 集成 Hudi 的最新版本功能以及快速上手实践指南。摘要:本文由阿里巴巴的陈玉兆分享,主要介绍 Flink 集成 Hudi 的最新版本功能以及快速上手实践指南。内容包括:背景环境准备Batch 模式的读写Streaming 读总结一、背景Apache Hudi 是目前最流行的数据湖解决方案之一,Data Lake Analytics[1] 集成了 Hudi 服务高效的数据 MERGE(UPDATE/DELETE)场景;AWS 在 EM
分类: 其他 发布时间: 03-31 10:44 阅读次数: 0

深度 | 面向云原生数据湖的元数据管理技术解析

背景数据湖当前在国内外是比较热的方案,MarketsandMarkets市场调研显示预计数据湖市场规模在2024年会从2019年的79亿美金增长到201亿美金。一些企业已经构建了自己的云原生数据湖方案,有效解决了业务痛点;还有很多企业在构建或者计划构建自己的数据湖,Gartner 2020年发布的报告显示目前已经有39%的用户在使用数据湖,34%的用户考虑在1年内使用数据湖。随着对象存储等云原生存储技术的成熟,一开始大家会先把结构化、半结构化、图片、视频等数据存储在对象存储中。当需要对这些数据进行分析时
分类: 其他 发布时间: 03-31 10:44 阅读次数: 0

Vue: 打包,报npm ERR! missing script: build

看package.json,有build:xx将命令改为 npm run build : xx
分类: 其他 发布时间: 03-31 10:44 阅读次数: 0

Kafka: Suppressed: java.nio.file.AccessDeniedException

可能是Kafka中的数据与zookeeper中数据不一致造成。删掉相应的文件
分类: 其他 发布时间: 03-31 10:44 阅读次数: 0

SpringBoot: 后台接收List数据时提示No primary or default constructor found for interface java.util.List

可能忘了@RequestBody注解
分类: 其他 发布时间: 03-31 10:44 阅读次数: 0

JAVA: JDK安装

export JAVA_HOME=/home/liuzhendong/Downloads/jdk1.8.0_131export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATHexport JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/binexport PATH=$PATH:${JAVA_PATH}
分类: 其他 发布时间: 03-31 10:44 阅读次数: 0

Linux: 防火墙

查看状态:systemctl status firewalld关闭systemctl stop firewalld
分类: 其他 发布时间: 03-31 10:44 阅读次数: 0