如何开始学习大数据？

首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

创新互联公司服务项目包括阳泉网站建设、阳泉网站制作、阳泉网页制作以及阳泉网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，阳泉网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到阳泉省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

作为零基础的小白，如何自学JAVA基础？

很多新手在学习java的时候都比较迷茫，不知道从哪里开始学起，这里就给大家整理了一份java开发学习路线，比较系统全面，可参考这份大纲来安排学习计划，希望可以帮到你~

2020最新java学习路线图：

第一阶段：java专业基础课程

阶段目标：

1、熟练掌握java的开发环境与编程核心知识；

2、熟练运用java面向对象知识进行程序开发；

3、对java的核心对象和组件有深入理解；

4、熟练运用javaAPI相关知识；

5、熟练应用java多线程技术；

6、能综合运用所学知识完成一个项目。

知识点：

1、基本数据类型，运算符，数组，掌握基本数据类型转换，运算符，流程控制；

2、数组，排序算法，java常用API，类和对象，了解类与对象，熟悉常用API；

3、面向对象特征，集合框架，熟悉面向对象三大特征，熟练使用集合框架；

4、IO流，多线程；

5、网络协议，线程运用。

第二阶段：javaWEB核心课程

阶段目标：

1、熟练掌握数据库和MySQL核心技术；

2、深入理解JDBC与DAO数据库操作；

3、熟练运用JSP及Servlet技术完成网站后台开发；

4、深入理解缓存、连继池、注解、反射、泛型等知识；

5、能够运用所学知识完成自定义框架。

知识点：

1、数据库知识，范式，MySQL配置，命令，建库建表，数据的增删改查，约束，视图，存储过程，函数，触发器，事务，游标，建模工具。

2、深入理解数据库管理系统通用知识及MySQL数据库的使用与管理。为Java后台开发打下坚实基础。Web页面元素，布局，CSS样式，盒模型，JavaScript，jQuery。

3、掌握前端开发技术，掌握jQuery。

4、Servlet，EL表达式，会话跟踪技术，过滤器，FreeMarker。

5、掌握Servlet相关技术，利用Servlet，JSP相关应用技术和DAO完成B/S架构下的应用开发。

6、泛型，反射，注解。

7、掌握JAVA高级应用，利用泛型，注解，枚举完成自己的CRUD框架开发为后续框架学习做铺垫。

8、单点登录，支付功能，项目整合，分页封装熟练运用JSP及Servlet核心知识完成项目实战。

第三阶段：JavaEE框架课程

阶段目标：

1. 熟练运用Linux操作系统常见命令及完成环境部署和Nginx服务器的配置

2. 熟练运用JavaEE三大核心框架：Spring,SpringMVC,MyBatis

3. 熟练运用Maven,并使用SpringBoot进行快速框架搭建

4. 深入理解框架的实现原理，Java底层技术，企业级应用等

5. 使用Shiro,Ztree和Spring,SpringMVC,Mybaits完成企业项目

知识点：

1、Linux安装配置，文件目录操作，VI命令，管理，用户与权限，环境部署，Struts2概述，hiberante概述。

2、Linux作为一个主流的服务器操作系统，是每一个开发工程师必须掌握的重点技术，并且能够熟练运用。

3、SSH的整合,MyBatis,SpringMVC,Maven的使用。

4、了解AOP原理，了解中央控制器原理，掌握MyBatis框架，掌握SSM框架的整合。

5、Shiro,Ztree，项目文档，项目规范，需求分析，原型图设计，数据库设计，工程构建，需求评审，配置管理，BUG修复，项目管理等。

6、独立自主完成一个中小型的企业级综合项目的设计和整体架构的原型和建模。独立自主完成一个大型的企业级综合项目，并具备商业价值。

第四阶段：分布式与微服务课程

阶段目标：

1.掌握前端框架VUE及Bootstrap的应用开发

2.基于SpringCloud完成微服务架构项目的开发

3.掌握NoSQL数据库Redis的使用

4.掌握消息队列RabbitMQ的使用

5.掌握Mycat数据库中间件的使用

知识点：

1、Bootstrap前端框架、VUE前端框架、RabbitMQ消息队列。

2、掌握Bootstrap前端框架开发、掌握VUE前端框架开发、掌握RabbitMQ消息队列的应用、掌握SpringBoot集成RabbitMQ。

3、Redis缓存数据库的应用、Java基于Redis的应用开发、基于SpringCloud微服务架构开发实战。

4、掌握NOSQL数据库Redis的安装、使用，Redis客户端的安装使用，Java访问操作Redis数据库，Redis的持久化方案、主从复制、高可用。

5、掌握SpringCloud微服务架构的开发，注册中心，网关配置，配置中心，微服务间通信及容器化部署。

6、项目文档，项目规范，需求分析，数据库设计，工程构建，需求评审，配置管理，BUG修复，项目管理等。

7、掌握数据库中间件Mycat的应用，基于Mycat实现数据读写分离，高可用集群。

8、掌握项目开发的流程，按照项目开发流程完成基于微服务架构项目的需求分析，编码开发。

PS：温馨提示，光看不练假把式，跟着视频教程练项目也是必不可少的！相关教程指路B站尚学堂官方号！都是免费滴！

NoSQL-HDFS-基本概念

Hadoop

文件系统：文件系统是用来存储和管理文件，并且提供文件的查询、增加、删除等操作。

直观上的体验：在shell窗口输入 ls 命令，就可以看到当前目录下的文件夹、文件。

文件存储在哪里？硬盘

一台只有250G硬盘的电脑，如果需要存储500G的文件可以怎么办？先将电脑硬盘扩容至少250G，再将文件分割成多块，放到多块硬盘上储存。

通过 hdfs dfs -ls 命令可以查看分布式文件系统中的文件，就像本地的ls命令一样。

HDFS在客户端上提供了查询、新增和删除的指令，可以实现将分布在多台机器上的文件系统进行统一的管理。

在分布式文件系统中，一个大文件会被切分成块，分别存储到几台机器上。结合上文中提到的那个存储500G大文件的那个例子，这500G的文件会按照一定的大小被切分成若干块，然后分别存储在若干台机器上，然后提供统一的操作接口。

看到这里，不少人可能会觉得，分布式文件系统不过如此，很简单嘛。事实真的是这样的么？

潜在问题

假如我有一个1000台机器组成的分布式系统，一台机器每天出现故障的概率是0.1%，那么整个系统每天出现故障的概率是多大呢？答案是(1-0.1%)^1000=63%，因此需要提供一个容错机制来保证发生差错时文件依然可以读出，这里暂时先不展开介绍。

如果要存储PB级或者EB级的数据，成千上万台机器组成的集群是很常见的，所以说分布式系统比单机系统要复杂得多呀。

这是一张HDFS的架构简图：

client通过nameNode了解数据在哪些DataNode上，从而发起查询。此外，不仅是查询文件，写入文件的时候也是先去请教NameNode，看看应该往哪个DateNode中去写。

为了某一份数据只写入到一个Datanode中，而这个Datanode因为某些原因出错无法读取的问题，需要通过冗余备份的方式来进行容错处理。因此，HDFS在写入一个数据块的时候，不会仅仅写入一个DataNode，而是会写入到多个DataNode中，这样，如果其中一个DataNode坏了，还可以从其余的DataNode中拿到数据，保证了数据不丢失。

实际上，每个数据块在HDFS上都会保存多份，保存在不同的DataNode上。这种是牺牲一定存储空间换取可靠性的做法。

接下来我们来看一下完整的文件写入的流程：

大文件要写入HDFS，client端根据配置将大文件分成固定大小的块，然后再上传到HDFS。

读取文件的流程：

1、client询问NameNode，我要读取某个路径下的文件，麻烦告诉我这个文件都在哪些DataNode上？

2、NameNode回复client，这个路径下的文件被切成了3块，分别在DataNode1、DataNode3和DataNode4上

3、client去找DataNode1、DataNode3和DataNode4，拿到3个文件块，通过stream读取并且整合起来

文件写入的流程：

1、client先将文件分块，然后询问NameNode，我要写入一个文件到某个路径下，文件有3块，应该怎么写？

2、NameNode回复client，可以分别写到DataNode1、DataNode2、DataNode3、DataNode4上，记住，每个块重复写3份，总共是9份

3、client找到DataNode1、DataNode2、DataNode3、DataNode4，把数据写到他们上面

出于容错的考虑，每个数据块有3个备份，但是3个备份快都直接由client端直接写入势必会带来client端过重的写入压力，这个点是否有更好的解决方案呢？回忆一下mysql主备之间是通过binlog文件进行同步的，HDFS当然也可以借鉴这个思想，数据其实只需要写入到一个datanode上，然后由datanode之间相互进行备份同步，减少了client端的写入压力，那么至于是一个datanode写入成功即成功，还是需要所有的参与备份的datanode返回写入成功才算成功，是可靠性配置的策略，当然这个设置会影响到数据写入的吞吐率，我们可以看到可靠性和效率永远是“鱼和熊掌不可兼得”的。

潜在问题

NameNode确实会回放editlog，但是不是每次都从头回放，它会先加载一个fsimage，这个文件是之前某一个时刻整个NameNode的文件元数据的内存快照，然后再在这个基础上回放editlog，完成后，会清空editlog，再把当前文件元数据的内存状态写入fsimage，方便下一次加载。

这样，全量回放就变成了增量回放，但是如果NameNode长时间未重启过，editlog依然会比较大，恢复的时间依然比较长，这个问题怎么解呢？

SecondNameNode是一个NameNode内的定时任务线程，它会定期地将editlog写入fsimage，然后情况原来的editlog，从而保证editlog的文件大小维持在一定大小。

NameNode挂了， SecondNameNode并不能替代NameNode，所以如果集群中只有一个NameNode，它挂了，整个系统就挂了。hadoop2.x之前，整个集群只能有一个NameNode，是有可能发生单点故障的，所以hadoop1.x有本身的不稳定性。但是hadoop2.x之后，我们可以在集群中配置多个NameNode，就不会有这个问题了，但是配置多个NameNode，需要注意的地方就更多了，系统就更加复杂了。

俗话说“一山不容二虎”，两个NameNode只能有一个是活跃状态active，另一个是备份状态standby，我们看一下两个NameNode的架构图。

两个NameNode通过JournalNode实现同步editlog，保持状态一致可以相互替换。

因为active的NameNode挂了之后，standby的NameNode要马上接替它，所以它们的数据要时刻保持一致，在写入数据的时候，两个NameNode内存中都要记录数据的元信息，并保持一致。这个JournalNode就是用来在两个NameNode中同步数据的，并且standby NameNode实现了SecondNameNode的功能。

进行数据同步操作的过程如下：

active NameNode有操作之后，它的editlog会被记录到JournalNode中，standby NameNode会从JournalNode中读取到变化并进行同步，同时standby NameNode会监听记录的变化。这样做的话就是实时同步了，并且standby NameNode就实现了SecondNameNode的功能。

优点：

缺点：

NoSQL 会有注入问题吗？

只要有交叉，通常而言都会有注入漏洞的。只是对于漏洞，你大可放心，应为一般而言注入提权都是针对常用的热门数据库和已知漏洞进行的，对于新兴的没有大规模使用的数据库来说，没有太多人花很多时间去研究，只要没大规模传播扩散漏洞信息，即使是有，也比较安全的。总不可能有人就专盯你的数据库入侵提权吧

小白想转行做大数据，怎么入行

大数据现在这么火，想往大数据方面发展，但是英文、数学不好的可以吗？？ 学习大数据该学哪些技术？？大数据和程序员比哪个要好学点？？等等。。。很多人学大数据的原因就是大数据找工作好找，薪资很高，，当然，为了这个原因也是可以的，毕竟这个时代就业压力确实很大，为了一个好的工作学一门技术，，但是我想问下你，你的专业是什么呢？？对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。。

其实说这些不是为了说明大数据有多难，只是告诉你这就是大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。。这三个方面没有哪个容易学些、哪个薪资高些、哪个发展前景好些。。。

现如今大数据开源框架也是越来越多，举几个常用的例子：

文件存储：Hadoop HDFS、Tachyon、KFS

流式、实时计算：Storm、Spark Streaming、S4、Heron

K-V、NOSQL数据库：HBase、Redis、MongoDB

资源管理：YARN、Mesos

日志收集：Flume、Scribe、Logstash、Kibana

消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ

查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分布式协调服务：Zookeeper

集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager

数据挖掘、机器学习：Mahout、Spark MLLib

数据同步：Sqoop

任务调度：Oozie

上面有30多种框架了吧，哈哈，是不是有点慌了，虽然有这么多框架，别说全部精通了，就算是全会用的，估计现在也没有几个，就要看你在三个方面往哪个方面发展了。就拿第二个来说（开发/设计、架构），且先听听我的建议：

一、初识hadoop

Hadoop可以算是大数据存储和计算的开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

关于Hadoop,你至少需要搞清楚以下是什么：

Hadoop 1.0、Hadoop 2.0

MapReduce、HDFS

NameNode、DataNode

JobTracker、TaskTracker

Yarn、ResourceManager、NodeManager

自己搭建Hadoop，请使用第一步和第二步，能让它跑起来就行。

建议先使用安装包命令行安装，不要使用管理工具安装。

另外：Hadoop1.0知道它就行了，现在都用Hadoop 2.0.

二、更高效的WordCount

首先，你得先学习SQL，访问、查询数据库的基本语言还是要懂的。。然后SQL On Hadoop之Hive，Hive是数据仓库工具，数据仓库是逻辑上的概念，底层使用的是数据库，数据仓库的特点：数据全（海量）、稳定；所谓稳定，比如数据库的数据经常要更新，而数据仓库的数据是不会被更新，只会被查询，所以说Hive适合做数据仓库。最后就是了解hive的工作原理，学会Hive的工作命令。

三、把别处的数据搞到Hadoop上

四、把Hadoop上的数据搞到别处去

五、实例分析

六、实时数据

七、更新查询数据

八、高大上的机器学习

完成了第一、二，说明你已经快步入大数据的行列了，写的不好也请多多包涵。

详细了解 可登录网址：网页链接

SQL小白求教

SET IDENTITY_INSERT [AbroadOrgan] OFF

当IDENTITY列中间的数据被删除，造成数据不连续的时候。

可以通过SET IDENTITY_INSERT 表名ON/OFF语句来允许/禁止对IDENTITY列进行显式的插入动作。

详细说明与例子,参考下面的帖子:

ALTER TABLE [Admin] WITH NOCHECK ADD CONSTRAINT [PK_Admin] PRIMARY KEY NONCLUSTERED ( [AdminID] )

ALTER TABLE 是修改表

WITH NOCHECK 是不检查表的 约束.

ADD CONSTRAINT [PK_Admin] PRIMARY KEY 是新增 主键

NONCLUSTERED ( [AdminID] ) NONCLUSTERED 意思是 主键 使用 非聚集索引

(默认情况下, SQL Server 的主键， 使用的是 聚集索引)

名称栏目：nosql从小白到,nosql和MySQL
当前网址：http://scgulin.cn/article/hdodco.html