大数据储存技术包括哪些

大数据储存技术

大数据储存技术是管理和保存大量非结构化或半结构化信息的技术集合。这些信息通常来自不同来源，如社交媒体、传感器和日志文件。

主要技术包括：

1. 分布式文件系统 (DFS)

• 将数据分散存储在多个服务器上，以提高可用性和可扩展性。
• hdfs (hadoop分布式文件系统) 是 DFS 的流行实现。

2. nosql 数据库

• 专为处理大量非结构化数据而设计，具有高可扩展性和灵活性的特点。
• mongodb、Cassandra 和 DynamoDB 是 nosql 数据库的示例。

3. 云存储

• 利用云计算平台提供的低成本、可扩展的存储服务。
• Amazon S3、Google Cloud Storage 和 microsoft azure Storage 是云存储的流行提供商。

4. 对象存储

• 将数据存储为不可变的对象，具有元数据标签用于搜索和管理。
• Amazon Elastic Block Store (EBS) 和 Google Cloud Object Storage 是对象存储的示例。

5. 湖仓 (Data Lakehouse)

• 结合了数据仓库和数据湖的特点，提供结构化的数据管理和分析能力。
• azure Synapse Analytics 和 AWS Lake formation 是湖仓的示例。

其他关键技术：

• 文件格式 (如 Parquet、ORC)： 优化大数据处理的压缩和列式文件格式。
• 元数据管理 (如 hive、spark sql)： 管理大数据资产的元数据，以促进数据发现和使用。
• 数据分片： 将大数据集划分成较小的块，以提高并发性和查询性能。