安卓 网络编程

第九章 网络编程安卓系统提供了以下几种方式实现网络通信:Socket通信 , HTTP通信 ,URL通信和WebView。其中最常用的就是HTTP通信。本章介绍如何在手机端使用HTTP协议与服务器端相互通信。9.1 HTTP协议简介​ HTTP 即超文本传输协议,它规定了浏览器和服务器之间通信的规则。​ HTTP是一种 请求/ 相应式的协议,当客户端与服务器段建立连接后,向服务器发送的请求称作HTTP请求。服务器收到请求后会做出响应,称为HTTP响应。9.2 访问网络​ 安卓对HTTP通信提供
分类: 其他 发布时间: 11-27 13:07 阅读次数: 0

hive的数据倾斜解决(Map端、reduce 端 、join中)

hive的数据倾斜解决(Map端、reduce 端 、join中)lianchaozhao 2020-11-02 15:24:08 667 收藏 4分类专栏: 工作实践 hive 大数据 文章标签: hive 大数据版权hive 的数据倾斜一般我们可以分为 Map倾斜、reduce 倾斜和join 倾斜这几种。一、Map 倾斜Map 端是 MR 任务的起始阶段, Map 端的主要功能是从磁盘中将数据读人内存, Map 端的两个主要过程如图所示。此处复习仪表map 过程1、客户..
分类: 其他 发布时间: 11-27 13:06 阅读次数: 0

SqoopExport-Hive到RDBMS

其实只要掌握了import的用法,export也就分分钟的事就搞定了。因为很多也是通用的,比如–connect,–username,–password,–table,–columns,-m等,还比如上节所说的direct,options-file,job。最大的不同可能就是–target-dir换成了–export-dir。export参数概览[[email protected] bin]# ./sqoop export --helpCommon arguments: --connect <
分类: 其他 发布时间: 11-27 13:06 阅读次数: 0

Presto和Hive语法对比

工作中经常遇到些时间转换问题:1) log_date:20200110 需要转换为标准日期,或者与时间戳数据进行比较2) 工作环境涉及到presto与hive, 利用presto检查查询时速度更快,因此一般需要同时用presto和hive的语法对日期进行转换下面对最近用到的时间转换进行梳理问题1:时间格式转换(时间格式化)例子: 当前时间20200110 转化为2020-01-10--输出 2020-01-10--hiveselect to_date(from_unixtime(
分类: 其他 发布时间: 11-27 13:06 阅读次数: 0

ClickHouse介绍安装和工作原理(1)

ClickHouse介绍 ClickHouse 是一个用于联机分析 (OLAP) 的列式数据库管理系统 (DBMS)。 ClickHouse 官网:https://clickhouse.tech/,它具有 ROLAP、在线实时查询、完整的 DBMS 功能支持、列式存储、不需要任何数据预处理、支持批量更新、拥有非常完善的 SQL 支持和函数、支持高可用、不依赖 Hadoop 复杂生态、开箱即用等许多特点。 在 1 亿数据集体量的情况下,ClickHouse 的平均响应速度是 Verti...
分类: 其他 发布时间: 11-27 13:05 阅读次数: 0

ClickHouse企业应用实战(2)

本文主要讲解 ClickHouse 的一些典型分析应用案例,重点就是告诉,一些大厂在做技术选型的时候,也就是因为 ClickHouse 的这些特点才使用的。 下面主要内容大致如下:分组前几函数 TopK窗口分析函数同比环比漏斗分析 windowFunnel如何利用 clickhouse 实现去重ClickHouse 整合 BitMapClickHouse 介绍和适用场景 ClickHouse 是“战斗民族”俄罗斯搜索巨头 Yandex 公司开源的一个极...
分类: 其他 发布时间: 11-27 13:05 阅读次数: 0

Yarn使用

点击左侧Cluster->Scheduler查看队列使用情况,使用内存和CUP,查看队列中running 的任务查看任务状态->点击右侧ApplicationMaster ActiveJob是正在跑的一段sql,下面是已经完成的点击Description进去查看详情 (一段sql划分成了不同的stage)进入Active Stages查看到stage的任务分布到不同节点状况 可见有的 0ms完成 有的几分钟(甚至有时0ms和一两个小时) 。这种不均衡的就是倾斜的...
分类: 其他 发布时间: 11-27 13:05 阅读次数: 0

DorisDB和各OLAP对比

DorisDB:新⼀代极速MPP数据库极速SQL查询• 全新的向ᰁ化执⾏引擎,亚秒级查询延时,单节 点每秒可处理多达100亿⾏数据。• 强⼤的MPP执⾏框架,⽀持星型模型和雪花模型 • 综合查询速度⽐其他产品快10—100倍!实时数据分析• 新型存储引擎,⽀持⼤规模数据实时写⼊,秒级 实时性保证• 新型读写并发管理模式,保证实时写⼊数据不会 影响线上查询。⾼并发查询• 灵活的资源分配策略,每秒可⽀持⾼达1万以上的 并发查询。• 有效⽀持数千⽤户同时进⾏数据分析轻松管理
分类: 其他 发布时间: 11-27 13:05 阅读次数: 0

Pandas实战Excel数据分析

•pandas.DataFrame( data, index, columns, dtype)•data: 数据•index:行标识•columns:列名•dtype:数据类型
分类: 其他 发布时间: 11-27 13:04 阅读次数: 0

Python 实现钉钉三方登录

登录流程图注册钉钉1.1钉钉作为阿里旗下的一款免费移动通讯软件,受众群体越来越多,这里我们使用DJANGO来集成一下钉钉的三方账号登录,首先注册钉钉开发平台:HTTPS://OPEN-DEV.DINGTALK.COM/1.2 创建应用代码# 构建一个钉钉类class DingDing: # 拼接url # 构造钉钉登录url def ding_url(request): appid = 'dingoagmvzpdwxx5npw4..
分类: 其他 发布时间: 11-27 13:04 阅读次数: 0

python中的__init__和__new__

1、__init__ 方法是什么? 如果使用Python写过面向对象的代码,可能对 __init__ 方法已经非常熟悉了,__init__ 方法通常用在初始化一个类实例的时候。例如:# -*- coding: utf-8 -*-class Person(object): """Silly Person""" def __init__(self, name, age): self.name = name self.age = age...
分类: 其他 发布时间: 11-27 13:04 阅读次数: 0

Flink的问题

flink消费Kafka的数据,怎么保证数据不丢失上游可以调整偏移量, 下游事务写和幂等写, 中间靠checkpointSavepoint和Checkpoint分别是什么? Savepoint 是用来为整个流处理应用在某个“时间点”(point-in-time)进行快照生成的功能。该快照包含了数据源读取到的偏移量(offset),输入源的位置信息以及整个应用的状态。借助 分布式快照算法(Chandy-Lamport )的变体,我们可以在应用程序运行中得到某个“时间点”一致的快照。...
分类: 其他 发布时间: 11-27 13:04 阅读次数: 0

ODS层设计规范

ODS层设计规范更新时间:2021-06-08 14:37我的收藏本页目录数据同步及处理规范 命名规范 数据存储及生命周期管理规范 数据质量规范本文为您介绍ODS层设计规范。数据同步及处理规范数据同步方式的选择 基本规范通过需求形式落地到DataWorks的数据集成,规范落地情况依赖工具的推进节奏。一个系统的源表只允许同步一次到MaxCompute。 数据加载与处理 通过一键实时同步至MaxCompute方案实现,请参见配置查看数据同步任务。 命名规范表命名
分类: 其他 发布时间: 11-27 13:03 阅读次数: 0

Hadoop的log4j文件

自定义修改hadoop/conf/log4j.properties hdfs审计日志(Auditlog)记录了用户针对hdfs的所有操作,详细信息包括操作成功与否、用户名称、客户机地址、操作命令、操作的目录等。对于用户的每一个操作,namenode都会将这些信息以key-value对的形式组织成固定格式的一条日志,然后记录到audit.log文件中。通过审计日志,我们可以实时查看hdfs的各种操作状况、可以追踪各种误操作、可以做一些指标监控等等。 hdfs的审计日...
分类: 其他 发布时间: 11-27 13:03 阅读次数: 0

Oracle函数+循环示例

自定义函数函数的定义:create/replace function 函数名 (参数名 输入输出类型 字段类型) return 字段类型 is变量名 字段类型; --函数的内部变量,需要包含字段类型的长度begin主体;return(变量名);end 函数名;观察到:定义函数的参数和输出类型的时候不需要考虑字段类型的长度;函数的内部变量需包含字段类型的长度;函数可以没有输入输出参数,但一定要有返回(return)的数据类型,因此必须有内部变量存储return的数据;函数的输入输出
分类: 其他 发布时间: 11-27 13:03 阅读次数: 0

测试一个调用Post接口的工具类HttpClient

package org.example;import org.apache.http.HttpEntity;import org.apache.http.HttpResponse;import org.apache.http.client.methods.HttpPost;import org.apache.http.impl.client.DefaultHttpClient;import org.apache.http.util.EntityUtils;import java.io.*;i.
分类: 其他 发布时间: 11-27 13:02 阅读次数: 0

Windows下安装Canal,Kafka,Flink,Spark

https://flink.apache.org/downloads.html地址下去下载flink找到 flink-1.8.1-bin-scala_2.11.tgz 这个安装包,Flink1.8对应的scala2.11版本进入bin目录,点击start-cluster.bat然后进入地址http://localhost:8081/这样就好了运行自带的example程序:进入cmd,目录切到bin目录下 先直接 D:切到D盘flink.bat run ../exampl...
分类: 其他 发布时间: 11-27 13:02 阅读次数: 0

月度累加,年度累加(多年)-Sum Over

sum over可以完美解决历史累加的问题其中有数据的跨年问题,需要年度重新统计,就在partition by中增加年字段即可select PROJ_ID -- 项目id ,PLAN_MTH .
分类: 其他 发布时间: 11-27 13:02 阅读次数: 0

写Flink遇到的问题

OOM:调小核数,增加每个核的内存调用map函数显示No implicits found for parameter evidence解决:要在这段前面加上隐式转换,就是注释掉的那个
分类: 其他 发布时间: 11-27 13:02 阅读次数: 0

Java获取resources下配置文件信息

用配置文件获取信息 (通过new property)package org.example;import java.io.IOException;import java.io.InputStream;import java.util.Properties;public class TestProperty { public static void main(String[] args) { Properties properties = new Properties()
分类: 其他 发布时间: 11-27 13:01 阅读次数: 0