在2021年将面临的5大数据分析挑战
|
导致许多新问题。特别是具有性能。 大数据意味着如果您没有可以处理这些数据的系统，那么您很快就会遇到问题。 甚至最大的公司都遇到了这个问题。数据不断增长，反过来又减慢了仪表盘，模型和报告的速度。等待两分钟以使用Tableau仪表板是不可行的。没有高管，董事或经理想要等待那么长时间。 因此，尽管大数据可以提供尽可能多的见识，但它很快就会成为负担(而且我甚至没有提到修剪不必要的数据的问题)。 那么，我们如何改善大数据系统的性能呢? 解决方案1：支付更多计算费用 解决问题的一种方法就是花更多的钱-在集群上购买更多的计算机或购买更大的计算机。但是总会有一个限制。 我与许多客户合作，他们迅速计算出，通过更多的计算途径来提高性能会花费太多。这看起来似乎很容易，但是可以说这并不是最好的解决方案。 有时，与计算无关，而与设计以及底层系统有关。 解决方案2：迁移到专为速度而设计的云数据仓库 通过技术债务和时间的结合，系统开始变慢。有几种改善方法，而不仅仅是购买更大的机器。 例如，如果您的团队为数据仓库使用Postgres或标准SQL Server之类的数据库，那么可能是时候迁移到专为分析查询设计的云数据仓库了。 您可以研究诸如Azure Synapse，Redshift或BigQuery之类的云数据仓库。这些可以帮助提高性能，具体取决于您设计数据仓库的方式。 解决方案3：改进数据仓库设计 如果您已经在云数据仓库中，则可以研究其他可能的解决方案，例如更好的设计，汇总表或索引。 这些都是需要查看您的设计，查看瓶颈并评估最佳解决方案的解决方案。 改善整体设计是一个更加困难的话题。我很乐意通过免费咨询电话或在我每周开放的办公时间内讨论此问题。 您还可以查看其中一些有关扩展的文章，因为有很多方法可以解决该问题。
（编辑：宁德站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
