目录
常见的大数据框架
- 文件存储：Hadoop HDFS、Tachyon、KFS
- 离线计算：Hadoop MapReduce、Spark
- 流式、实时计算：Storm、Spark Streaming、S4、Heron
- K-V、NOSQL数据库：HBase、Redis、MongoDB
- 资源管理：YARN、Mesos
- 日志收集：Flume、Scribe、Logstash、Kibana
- 消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ
- 查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
- 分布式协调服务：Zookeeper
- 集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager
- 数据挖掘、机器学习：Mahout、Spark MLLib
- 数据同步：Sqoop
- 任务调度：Oozie