Java Web 基础笔记(更新中)

Web 应用概述:通过互联网访问的应用程序,使用网页语言编写,通过浏览器运行。分为两类:静态网站:一般使用HTML(超文本标记语言)来编写。动态网站:一般是指在服务器端运行的程序·网页和组件,动态网页的内容只有当用户请求时服务器才返回一个完整的网页。动态网页URL的后缀通常.asp,.jsp,.php,.cgi等形式。动态网站的特征:交互性,自动更新,多样性。在实际应用中,大多数网站是动静结...
分类: 其他 发布时间: 03-05 09:33 阅读次数: 0

Maven的笔记

一 Maven配置1.下载并配置jdk环境2.下载并配置Maven环境百度maven,去maven官网点击进入下载解压并配置Maven环境变量此电脑=>属性=>高级系统设置=>环境变量=>找到path,并将maven bin路径设置进去测试:打开命令窗口输入:mvn -v,若有输出,说明配置正确。修改仓库源和本地仓库(墙住了,访问外网比较困难)...
分类: 其他 发布时间: 03-05 09:33 阅读次数: 0

大数据挖掘分析与应用(分着写了,更条理些)

一 大数据概论众所周知。大数据技术在如今社会应用越来越广泛,如百度搜索的东西,给你推荐你所搜索的东西,如淘宝你平时的浏览的东西,淘宝自动会推给你各种你所浏览的东西。科学数据,金融数据,零售数据,社交网络数据,交通数据,物联网数据,政务大数据,医疗大数据等等等等。当前处于第二阶段大数据基本概念之大数据定义(4V特征)4V包括四个层面:数据量大(volume)数据类型繁多(variet...
分类: 其他 发布时间: 03-05 09:32 阅读次数: 0

大数据挖掘分析与应用(一)大数据概论

一 大数据概论众所周知。大数据技术在如今社会应用越来越广泛,如百度搜索的东西,给你推荐你所搜索的东西,如淘宝你平时的浏览的东西,淘宝自动会推给你各种你所浏览的东西。科学数据,金融数据,零售数据,社交网络数据,交通数据,物联网数据,政务大数据,医疗大数据等等等等。当前处于第二阶段大数据基本概念之大数据定义(4V特征)4V包括四个层面:数据量大(volume)数据类型繁多(variet...
分类: 其他 发布时间: 03-05 09:32 阅读次数: 0

大数据挖掘分析与应用(二)初始hadoop

二 初识HadoopHadoop概述开源的Hadoop可以搭建大型数据仓库,PB级数据的存储,处理,分析,统计等业务分布式集群:多台计算机构成主节点就是管理从节点位置的计算机(图书管理员)心跳机制:Hadoop三大核心组件:HDFS(分布式文件系统) YARN(资源调度系统)MapReduce(分布式计算框架)HDFS可以将数据多副本存储,这样的好处1.如果一台机器上...
分类: 其他 发布时间: 03-05 09:32 阅读次数: 0

大数据挖掘分析与应用(三)初始HDFS

三 HDFS1.设计目标非常大的分布式文件系统,运行在普通廉价的硬件上,易扩展,为用户提供性能不错的文件存储服务2.HDFS架构3.副本存放策略4.HDFS环境搭建*注:虚拟机中快照是当前虚拟机的状态复制,当操作不当时可以回退。...
分类: 其他 发布时间: 03-05 09:32 阅读次数: 0

大数据挖掘分析与应用 (四) HDFS环境搭建

四 HDFS环境搭建1.jdk的安装(装java)检查自带jdk,有就卸载 找jdk:rpm -qa|grep java切换命令 :su -root删除jdk:rpm -e --nodeps 名字安装jdk解压: tar -zxvf jdk名字 ~C 解压的位置配置环境变量:vim ~/.bash_profile 配置完重启这个文件使配置文件生效:sour...
分类: 其他 发布时间: 03-05 09:31 阅读次数: 0

大数据挖掘分析与应用 (五) HDFS操作

一 启动hdfs:在sbin目录下./start-dfs.sh,然后jps检测。二 HDFS的shell命令首先追加hadoop环境变量重启使之生效
分类: 其他 发布时间: 03-05 09:31 阅读次数: 0

C语言笔记(更新中)

一 简介众所周知,C语言是一种很重要的语言,所有大学第一门编程课就是C语言,C语言是基础语言,是一种工业语言,尽管如今Java,Python这么火,我们还要学C,因为C在某些领域是无可替代的,像操作系统,嵌入式系统,驱动系统,底层驱动,图形引擎,图像处理,声音效果等。C语言需要被编译才能运行,所以需要编辑器,编译器或者集成开发环境(IDE)...
分类: 其他 发布时间: 03-05 09:31 阅读次数: 0

大数据挖掘分析与应用 (六) YARN资源调度框架

Hadoop的三个核心:Mapreduce HDFS Yarn一 Yarn的产生背景一 Mapreduce1.x存在的问题:1.单节点故障2.节点压力大不易扩展3.支持框架单一,无法运行spark框架,storm框架等(client 客户 提交作业 jobtracker资源管理和作业调度 主节点 tasktracker )二 资源利用低,运维成本高,资源无法共享不管...
分类: 其他 发布时间: 03-05 09:31 阅读次数: 0

大数据挖掘分析与应用 (七) MapReduce操作

MapReduce框架一 MapReduce概述优点:1.海量数据离线处理 2.易开发 3.易运行缺点:实时流计算MapReduce计算框架,基于磁盘(硬盘)IO输入输出我从磁盘上读取数据到内存中,计算,得出结果放到磁盘spark计算框架 ,基于内存的(内存条) 很短的时间内,数据是直接到内存的,计算,结果返回MapReduce编程之工作流程:1.将作业拆分为Map阶段和Red...
分类: 其他 发布时间: 03-05 09:30 阅读次数: 0

大数据挖掘分析与应用 (八) hadoop项目实战-学习网站的用户日志分析

实战项目:学习网站的用户日志分析日志分析能做什么:1.推荐 2. 投放广告引流 3.统计 TOP N 4.预测数据处理主要是两个:离线处理和在线处理 采集过来的日志:1.数据不完整,不可用(脏数据)用户行为日志分析的意义:1.日志是网站的眼睛(引流,用户群体,网站的亮点)2.日志是网站的神经(网页的布局非常重要,导航是否清晰)3.日志是网站的大脑(统计最受欢迎的课程,每...
分类: 其他 发布时间: 03-05 09:30 阅读次数: 0

大数据挖掘分析与应用 (九) HBase

一 HBase介绍及应用HBase的特点:1.容量大 HBase单表可以有百亿行、百亿列,数据矩阵横向和纵向两个维度所支持的数据量级都非常具有弹性2.面向列 列式存储其数据在表中是按照某列存储的,这样在查询中只需要少数几个字段的时候,能大大减少读取的数据量。HBase是面向列的存储和权限控制,并支持独立检索3.多版本 HBase每-一个列的数据存储有多 个版本。4.稀疏性 ...
分类: 其他 发布时间: 03-05 09:30 阅读次数: 0

一 Java基础知识及jdk配置(详细)

Java简介1.概述java是一门高级编程语言,是1995年由sun公司推出的;2009年sun公司被Oracle(甲骨文)收购了;2.背景背景:1990年,sun公司看好未来智能家电市场;计划开发一套通用的智能家电控制系统;将开发项目交给James Gosling为首的团队;当时市面上开发程序常用的编程语言有 c++;但是c++有缺陷,重新开发了一门编程语言Oak(橡胶树),该语言采取了c++的优势,摈弃了c++的缺点,新增了新特性(面向对象 跨平台);该团队使用Oak语言开发了控制系统;su
分类: 其他 发布时间: 03-05 09:30 阅读次数: 0

二 Java入门案例--开发一个java程序

1、新建一个文本文档文件2、修改文件名 HelloWorld、修改文件后缀 .java3、通过记事本打开该文件4、定义一个类类是基本单位格式: public class 类名{}注意:public class 固定的类名:自定义 HelloWorld{}:表示类的范围ctrl+s:保存5、类中定义main方法main方法又称为主函数或者入口函数定义格式:public static void main(String[] args){}位置:类中注意:public
分类: 其他 发布时间: 03-05 09:29 阅读次数: 0

三 Java详细基础(关键字 标识符 进制 码表 引用 字面值 引用)

关键字概述:被java赋予特定含义单词class:定义类public:表示权限公共的注意:1、关键字都是小写的2、在开发工具例如eclipse idea对于关键字由特殊标识3、goto const是特殊的关键字,又称为保留字;目前还没有特殊含义;标识符概念:给类 接口 方法 变量 常量等起名字的字符序列组成规则:必须遵守,如果不满足则编译会报错1、英文大小写字母,中文汉字 HelloWorld2、数字 Demo13、$ _注意:1、除了以上三类其他字符都不能用于组成标识符
分类: 其他 发布时间: 03-05 09:29 阅读次数: 0

四 Java详细基础(java数据类型 数据类型转换 运算符 控制结构)

Java数据类型两大类:基本数据类型(八种)八大基本数据类型整型(4种)byte short int long浮点型(2种)float double字符型(1种)char布尔型(1种)boolean引用数据类型(复杂数据类型):数组 类 接口等注意:字符串类型是引用数据类型(字符串是类)java强类型的语言:对数据类型校验非常严格int age = 18;弱类型的语言:js 对数据类型校验不严格var 变量名 = 初始化值;var val = 8;val = 2
分类: 其他 发布时间: 03-05 09:29 阅读次数: 0

五 Java详细基础(控制结构 循环控制语句 idea使用 数组)

控制结构循环结构:重复执行同一段代码循环四要素:1、初始化条件语句:定义一个变量 通常用于循环条件的控制2、循环条件:控制循环是否结束的结果必须是boolean类型true:循环继续false:循环结束3、循环体:重复执行的代码4、改变循环条件的语句:每执行完一次循环体之后 要改变循环条件的结果案例:打印100次hello world循环体:System.out.println(“hello world”);循环条件:打印次数<=100 num<=100初始化
分类: 其他 发布时间: 03-05 09:29 阅读次数: 0

HTML笔记(完结)

HTML基础部分基础元素(代码注释方法:ctrl+/ 文字注释方法:ctrl+shift+/)<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title></head><body&...
分类: 其他 发布时间: 03-05 09:28 阅读次数: 0

大众点评svg反爬

python爬虫——大众点评svg反爬(仅供学习使用)学爬虫有大半年,仅仅会一些基础的爬虫,对一些反爬有深度的反爬就over了,最近在学svg反爬与字体反爬,然后用大众点评练一下。当然会有代码跑起来效率不高的的地方以及错误,大家可以指点。前言大众点评是一款非常受大众喜爱的一个第三方的美食相关的点评网站。从网站内可以推荐吃喝玩乐优惠信息,提供美食餐厅、酒店旅游、电影票、家居装修、美容美发、运动健身等各类生活服务,通过海量真实消费评论的聚合,帮助大家选到服务满意商家。因此,该网站的数据也就非常有价值。优惠
分类: 其他 发布时间: 03-05 09:28 阅读次数: 0