大数据时代数据库面临重建？

许多大数据应用的实施似乎都是在一个现有的数据货仓上，添加一个或多个新的大容量数据流，另有一些支持数据存储和业务剖析的专业软硬件。数据存储问题通常是通过安排一个专门的硬件一体机来协调，这样就可以在存储大宗数据的同时还能够提供超快的数据会见。

在这样的情况下，我们还需要考虑数据库设计的问题么?

大数据情况下的数据建模

大大都DBA认为：良好的数据库设计是系统和应用程序设计的一部分。许多的业务需求，如数据可用性，清理处理，另有应用性能都可以利用特定的数据库设计加以解决。

那么关于大数据又如何呢?有趣的是，为大数据业务剖析提供软硬件解决计划的供应商总是宣称数据库设计并不是那么重要。他们认为，由于数据是以专门的花样进行存储的，所以大大都数据库设计便没有了用武之地。

在这个问题上的困惑通常是源于对解决计划要以何种特殊的方法执行大数据盘问的误解。简单来说就是，在大大都情况下，数据会存储在两个地方：你目今的生产数据库治理系统(DBMS)和新型专用的一体机。目今的生产流程是提取，转换并加载数据到目今DBMS，继续按原样操作，另有一个特别办法：每当你加载数据到一个表的时候，你还要确保新数据也能被加载到新一体机中去。

在DBMS加载乐成后，便可以马上把数据加载到一体机，或者可以供后续执行分批处理。而重要的是，在任何大数据盘问使用已加载数据来获得性能改善之前，必须先把数据加载到一体机。

数据库设计是质量的包管

有质量的数据库设计意味着什么呢?一般来说，数据库设计开始于数据模型和界说之间关系的业务规则。例如，订单总是与客户相关的，并且客户可能没有订单或者有多个订单。有了这些工具以及数据元素界说和属性，数据库设计就可以在以下领域解决，处理或是降低危害：

1.通过自动数据元素有效值检查来协助制止缺陷;

2.在应用构建和测试期间允许缺陷检测和修复;

3.尽可能让数据验证接近其源头;

4.提供稳定性，可靠性，数据可会见性和系统扩展性。

数据库设计人员的做法有什么差别?

糟糕的数据库设计对技术支持的影响很是之大，他们必须实时处理系统问题，这样就会抬升定位息争决问题的本钱。其在产品行为上还会体现为惹恼或是赶走客户。而与糟糕设计相关的常见的问题就是很是差得应用性能和数据冲突。

典范的修复要领包括数据库重组或重新设计，如添加表索引和改变表分区和聚簇。然而，在大数据情况中，这些要领在专用一体机中通常是行欠亨的。它们只会保存于数据库的基本表中。这是问题的症结所在：尽管供应商声称你所有的数据都可以迁移至专用一体机，但这绝不是优先的解决计划。

让数据在主数据库治理系统和一体机之间共存是较好的要领，其原因如下：

1.制止单点故障。专用一体机往往存折一个单点故障。虽然有供应商和支持人员的努力，可是一体机中的软硬件，网络连接和流程都可能会爆发故障。如果是这样，如何才华进行满意的盘问呢?数据协同定位在数据库治理系统中，盘问结果可以通过会见基本表得以满足。虽然，性能肯定会受到影响;可是，如果不这样做的话，在有人修复这一问题之前，你的大数据应用都会是不可用的。

2.提供数据卸载。盘问并非是数据的为数不过消费方。一种常见的用法是将生产数据卸载到测试情况。别的，某些第三方供应商软件工具会直接会见外地数据库中的数据，而这在一体机中是不可用的，因为数据是以专门的花样进行存储的。

3.备份和恢复。常见的备份和恢复工具都是以那些驻留在数据库中的数据为基础的。而第三方供应商工具通常用于高性能备份和恢复，包括索引恢复。这些备份是针对基本表和表空间执行的，而非一体机。

4.某些性能状况。在某些情况下，SQL盘问在一体机中无法执行。这些限制都是界说在手册中的，并且随着供应商一体机和版本的差别而差别。在这些情况下，你别无选择;你必须会见基本表并接受性能的下降。其中一些限制包括了特定的SQL语法，例如可转动游标，动态SQL，使用多个字符编码计划，某些相关表表达式，以及使用某些内置函数。

　　大数据的数据库设计

因为你要同时在DBMS和专用一体机中生存数据，所以标准数据库设计规则对你来说仍然适用。有趣的是，由于一体机的保存，如今某些规则得以扩展或是变得越发庞大。下面是一些注意事项：

对索引的需求。索引效劳于多种需求：它们可以付与数据元素为数不过性，它们可以付与参照完整性关系，它们可以界说主键，并且它们可以界说特别会见路径。后一项是十分重要的。在大数据情况中，我们的想法是把长时间运行的盘问放进一体机中以进行高速处理。如果某些保存的索引仅仅是提供可选会见路径，那么可能就不再需要它们了。数据库设计或是重新设计应该包括对所谓性能索引的检查。如果此索引不再被盘问所用，那么就可以删除它们，从而节省表数据恢复所需要的磁盘空间，处理时间和恢复时间。

删除一体机的SQL限制。通常来说，数据的业务规则决定着数据库设计的部分内容。这包括进行物理分区以允许更快的盘问和更简便的数据清理，诸如字段约束在内的数据元素域检查，以及用于支持参照完整性规则的主键和外键界说。接着，应用程序开发人员会编写SQL盘问来会见数据。别的，用户可能拥有的报告工具会自动为盘问和报告生成SQL代码。因为SQL盘问语法和功效取决于数据库设计，所以设计人员需要对一体机限制熟稔于胸。

为高速一体机的数据加载进行设计。现在正常的数据库加载历程包括一个特别办法：将数据加载进一体机。如何才华对此以优先的方法实现呢?这主要取决于你的应用和数据波动水平，因此要考虑以下变量：

按期批量加载(每天，每小时)一体机，但要明白其中的数据并不完全是前沿的。

细流加载，基本表中的纪录有过更新的地方会同步传送至一体机。这样就会坚持一体机数据前沿，可是纪录的处理要比批量加载缓慢许多。

总结

虽然数据库软硬件方面的进步可以将数据盘问的速度提升一个层次，但大数据和一体机并没有把对良好数据库设计的需求弃之不必。实际上，设计人员有更多的事情需要去考虑：备份和恢复，索引治理，多途径数据会见，以及SQL限制。

pg电子

大数据时代数据库面临重建？

大数据时代数据库面临重建？