专家视点数据无处不在的云原生渠道
发布时间：2022-04-15 15:07:47 所属栏目：云计算 来源：互联网
导读：使用 Kubernetes 进行架构是必不可少的核心部分，它使数据分析异常灵活，可在业务需要的任何地方运行，并以高并发、高性能、效率和可用性大规模运行。 从金融服务和保险到制造和医疗保健等垂直领域的无数企业发现，他们需要公共和私有云、混合和边缘部署来最
|
使用 Kubernetes 进行架构是必不可少的核心部分，它使数据分析异常灵活，可在业务需要的任何地方运行，并以高并发、高性能、效率和可用性大规模运行。 从金融服务和保险到制造和医疗保健等垂直领域的无数企业发现，他们需要公共和私有云、混合和边缘部署来最好地满足他们的数据管理和分析需求。因此，分布式云的概念是云成熟的一部分也就不足为奇了。将数据仓库、数据湖和高级分析引入分布式云架构是市场的发展方向。扩展此架构以包含更高级别的数据管理和分析服务自然会产生分布式数据云的想法。 在分布式数据云中，企业数据仓库将不仅用于为公司中的数百名业务分析师或数据科学家提供分析，而且最终能够为企业端直接使用的实时分析应用提供支持数以万计的客户。这些数据将可以在任何地方立即访问并产生洞察力。 选择正确的方法 那么，这个终极目标是如何实现的呢?开源容器编排工具 Kubernetes 提供了最流行的云原生操作路径。虽然 Unix 中对工作负载进行分区的想法自 1970 年代就已经存在，但仅在大约十年前，容器才被广泛实施，以使应用程序开发更容易、更便携且资源使用效率更高。但事实证明，在庞大的微服务架构中部署数百或数千个应用程序非常棘手。虽然存在其他选择，但 Google 的开源 Kubernetes 项目(现在由云原生计算基金会维护)在解决微服务应用编排方面声名远扬——使应用能够在通用基础架构上运行，以标准方式进行监控和管理，并通过使用开放标准。 这对应用来说很好。但是数据世界呢?云原生数据仓库需要相同的基础容器编排，以提供跨公共和私有云、网络边缘、混合和完全分布式云的弹性和部署灵活性。 答案是在 Kubernetes 上提供 SQL 接口来按需配置多个弹性集群，并向 DBA 和最终用户隐藏 Kubernetes 的复杂性。 通过这种方式，可以分配不同的用户在不同的计算集群上运行工作负载，并且可以在运行时通过 SQL 更改正在使用的计算集群，但需要获得许可。集群可以配置为在空闲期后自动挂起，并根据需要重新启动。例如，可以创建一个单独的计算集群来在需要时运行 ETL 流程，一个用于临时商业智能 (BI) 和多个数据科学集群。计算集群可以在使用量大的时候在线扩展，或者在安静的时候关闭以节省资金。可以创建集群来运行仅在这些时间段内活动的每日、每周或每月批量报告任务。 在该模型中，计算集群中节点的大小以及节点的数量都是可控的，并且可以在实例级别建立资源消耗限制以实现可预测性。同样，可以建立一个低成本的副本系统，从主数据仓库实例接收复制流量，然后在需要使用副本时按需扩展。 这种弹性不仅通过与 Kubernetes 的深度集成来实现，还通过使用 SQL 本身作为创建、挂起、恢复和管理集群的“用户界面”而不是开发人员工具来实现。 Kubernetes 是所有集群状态的权威信息来源。显示集群状态的系统视图使用其 API 从 Kubernetes 获取数据。当输入集群管理 SQL 语句时，云原生数据仓库向 Kubernetes 伸出援手，改变实例所需的状态;然后 Kubernetes 实施必要的更改。如果集群中的某个节点变得不健康，Kubernetes 会带一个替代品上线。 这代表了与 Kubernetes 的一种独特的、由内而外的关系：Kubernetes 不再是驱动集群状态的“用户界面”，而是由 Kubernetes 管理的数据库本身成为用户界面。这种架构创建了一种共生关系，可提供独特的、完全实现的云体验。 Kubernetes 的强大功能和跨平台灵活性可用于数据仓库，完全通过 SQL 驱动。 随着更多数据的生成和更多用例的部署，企业很容易进入恶性循环，其生态系统在特定云中越来越根深蒂固。系统性风险可能出现在单一云中，这对金融服务和保险等受到严格监管的行业的关键 IT 基础设施造成了过多的风险。使用 Kubernetes 进行架构并不是将完全实现的云原生数据仓库带入生活的唯一核心概念。它不是唯一符合分布式数据云模式的架构组件。但它是必不可少的核心部件，它使数据分析异常灵活，可在业务需要的任何地方运行，并以高并发、高性能、效率和可用性大规模运行。结果是，任何给定企业中的数千名用户，跨越不同的业务线和地理区域，都可以做出极其快速的决策，并通过近乎实时的动态分析产生价值。 （编辑：宁德站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐