3.初识Hadoop压缩格式
hadoop文件压缩需求文件压缩对于大数据量的分布式存储系统而言是必须的，它带来有两个好处：
1.减少文件所需的空间
2.加快网络或磁盘间的传输速度
但是也有不好地方：
1.增大了CPU的负载
根据我们的作业性质选择是否需要压缩
压缩分类Compression常见分为两大类
lossles
...
linux ssh互信配置
发表于
|
更新于
|
分类于
Vmware安装CentOS
环境hadoop001: 192.168.137.190
hadoop002: 192.168.137.191
hadoop003: 192.168.137.192
执行ssh-keygen在3台机子上都执行下面命令1# ssh-keygen
生成一个authorized_keys在第一个hado
...
2.搭建Hadoop HA
发表于
|
更新于
|
分类于
Big Data learning
准备工作
1.准备好3台虚拟机
2.3台虚拟机互信
3.准备好安装包
jdk-8u161-linux-x64.tar.gz
hadoop-2.6.0-cdh5.7.0.tar.gz
zookeeper-3.4.12.tar.gz
4.Xshell5
新增用户hadoop在3台虚拟机上面都
...
1.Hadoop高级
发表于
|
更新于
|
分类于
Big Data learning
回顾Hadoop重点知识 我们先来回顾一下Hadoop的一些重要的知识点，虽然在工作中几乎没啥用，但是这些知识点我们需要知道，有助于我们对Hadoop认识。他山之石，可以攻玉，很多知识点都是互相借鉴的。
HDFS 读流程
1.Client通过Distributed FileSyst
...
2.flink的Word Count小程序
发表于
|
分类于
Flink系列文章
创建项目打开IDEA，新建一个新的项目，如图所示
填写项目GAV(groupId artifactId Version)
配置你maven设置
设置你的项目地址
创建一个Object
开始编写我们的WordCount1.在pom文件，添加Flink依赖
12345678910111213
...
Vmware安装centOS 6.5(minimal)详细步骤
发表于
|
更新于
|
分类于
Vmware安装CentOS
我今天整理了一下Vmware安装centOS 6.5详细步骤
Vmware我使用的是14版本的。具体安装步骤就略过了！下面开始我们的CentOS 6.5的系统安装
1.新建虚拟机,点击确定
2.我们使用自定义的，然后会弹出下图，点击下一步
3.选择稍后安装操作系统
4.选择
...
1.搭建Spring boot
发表于
|
更新于
|
分类于
spring boot
一、Spring boot简介Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。其实它就是一套集成好的类库，将平时搭建Spring MVC 的依赖都集成在一起，并以一种简单的约定将其运行起来。
Create stand-al
...