大数据平台用了什么技术

大数据平台的技术基础包括：分布式存储：hdfs、dynamo、hbase、mongodb；分布式计算：mapreduce、spark、flink；数据管理：zookeeper、kafka、数据治理工具；数据分析：hive、tensorflow、tableau；其他技术：容器化、云计算、安全和合规性。

大数据平台的技术基础

大数据平台为了处理海量、多样、高速的数据，采用了多种技术：

1. 分布式存储

• hadoop分布式文件系统 (hdfs)：存储海量数据，具有高容错性和可扩展性。
• 分布式哈希表 (Dynamo)：存储键值对数据，具有良好的分布和负载均衡。
• 列族数据库 (hbase)：存储稀疏数据，适合存储海量的数据表。
• 文档数据库 (mongodb)：存储半结构化数据，具有灵活性和可扩展性。

2. 分布式计算

• mapreduce：并行处理大规模数据，将任务分解为小的子任务。
• Spark：快速且通用的集群计算框架，可以处理批处理和流数据。
• Flink：实时流处理引擎，可以以低延迟快速处理数据。

3. 数据管理

• 分布式锁服务 (zookeeper)：协调分布式系统并防止数据不一致。
• 消息队列 (kafka)：发布/订阅消息传递系统，用于实时数据流处理。
• 数据治理工具：确保数据的质量、一致性和安全。

4. 数据分析

• sql on Hadoop（如 hive、Presto）：允许用户使用 SQL 查询大数据。
• 机器学习库 (tensorflow、pytorch)：用于构建和训练机器学习模型。
• 可视化工具（如 Tableau、Power BI）：帮助用户分析和展示数据。

5. 其他技术

• 容器化（如 docker、kubernetes）：封装和管理应用程序和服务。
• 云计算：提供可扩展的计算和存储资源，用于部署大数据平台。
• 安全和合规性：确保大数据的安全存储、处理和访问。