学习大数据需要什么基础？
2023-01-31
6 阅读
大数据本身是没有太多直观的内容，大部分讲4个V或者5个V。
你需要拥有什么技能，并没有直观的理解。
但是大数据的分析就比较直观，常见的场景包括实时数据流处理、数据批处理，数据生态产品的互通，所以需要掌握的技能：一个分布式存储底座，如HDFS一个支持SQL的实时数据引擎，HBase或者Cassandra一个流处理技术引擎Flink一个批处理引擎Spark、EMR数据互通的工具DTS，如对象存储之间的数据传输Distcp，各个组件的连接器sqoop等一个离线数仓分享套件Hive，以及加速查询的索引构建工具clickhouse其他辅助在线存储，分布式KV、对象存储等大数据生态的产品比较多，目前根据实际的业务场景会有现成的套件，比如Lambda架构AWS的lambda架构
