数据采集和数据存储都是数据分析之前需要经历的分析步骤，而今天我们就一起来了解一下这些步骤的重要性。希望通过对本文的阅读，大家对于大数据以及数据分析都有更全面的了解。

　　数据采集

　　数据采集的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简单的清洗。

　　比较常见的就是用户行为数据的采集

　　先做sdk埋点，通过kafka实时采集到用户的访问数据，再用spark做简单的清洗，存入hdfs作为数据仓库的数据源之一。

　　数据存储

　　随着公司的规模不断扩张，产生的数据也越来越到，像一些大公司每天产生的数据量都在PB级别，传统的数据库已经不能满足存储要求，目前hdfs是大数据环境下数据仓库/数据平台完美的数据存储解决方案。

　　在离线计算方面，也就是对实时性要求不高的部分，Hive还是当其冲的选择，丰富的数据类型、内置函数;压缩比非常高的ORC/PARQUET文件存储格式;非常方便的SQL支持，使得Hive在基于结构化数据上的统计分析远远比MapReduce要高效的多，一句SQL可以完成的需求，开发MR可能需要上百行代码;而在实时计算方面，flink是优的选择，不过目前仅支持java跟scala开发。

　　数据同步

　　数据同步是指不同数据存储系统之间要进行数据迁移，比如在hdfs上，大多业务和应用因为效率的原因不可以直接从HDFS上获取数据，因此需要将hdfs上汇总后的数据同步至其他的存储系统，比如mysql;sqoop可以做到这一点，但是Sqoop太过繁重，而且不管数据量大小，都需要启动MapReduce来执行，而且需要Hadoop集群的每台机器都能访问业务数据库;阿里开源的dataX是一个很好的解决方案。