数据大集中提到了很多行业的议事日程上来。但大集中立即引发了很多对数据集中的考虑:选择什么样的解决方案?
显然,重建系统当然好,但需要进行额外的投资建设(硬件及相关软件),造成原有业务系统的投资浪费。比如,八大银行中的任何一个银行在一个普通省的网点数都过千,数据迁移和管理都具有巨大的风险。且系统整体规划难度大,所有的访问均部署在中央数据库上,访问响应速度受到质疑。 若只做逻辑的集中,各原有系统之间很难消除独立现象而进行数据交换。那么是否能利用数据仓库技术,进行数据转载,建立中央数据库呢?建立中央数据库可以解决数据的集中及质量化的问题,但其非实时性不适合业务处理的要求。与此同时,其他行业的业务及数据的集成也愈来愈迫在眉睫。要用当前的技术构建集中的集成系统,企业必须将许多原本并不能很好地彼此共存的管理系统和应用程序拼凑到一起。DBMS、内容管理系统、数据挖掘包和工作流系统都可以购买,但企业必须自行开发集成软件以集成它们。数据库管理系统可以处理结构化数据,但 XML 资源库是目前刚刚才面市的。每当增加了新的数据源或信息必须流转到新的目标时,就必须扩展客户自制的解决方案。
我们可以看到,原本存在于 DBMS、内容管理系统、中间层高速缓存和数据仓库之间的界限正日益变得模糊,而迫切需要提供所有这些服务的统一视图的平台,也就是统一的集中的集成平台,以满足数据集中管理、访问单一接口的需求。
IBM适时地推出了其集成解决方案(如图为IBM集成方案的体系结构)。透过IBM集成解决方案,用户可以搭建逻辑上的一个虚拟的中央数据库,达到数据的逻辑大集中,而无需进行数据的迁移和原有应用系统的合并改造。用户可以在搭建的逻辑中央数据库上实施对原有系统的统一管理,就象是做了数据中心的重新构造一样。此平台具有:
1.无缝集成来自多个异构数据源的结构化、半结构化和非结构化数据。数据源包括诸如数据库、文件系统、实时数据馈送和图像及文档资源库之类的数据存储系统,以及与垂直应用程序(如 SAP 或 Calypso)紧密集成的数据。
2.支持标准元数据交换、模式映射和无模式处理,支持合并(从多个数据源收集数据,并存储到中央资源库)和联邦(多个自主源的数据作为搜索的一部分来访问,但数据本身并不移动到平台上)。
3.对存储、交换和转换 XML 数据的支持。许多企业的信息集成问题在于,关系数据模型太过严格,以致无法用它来有效地表示半结构化和非结构化数据,因此 XML 成为了企业集成的“通用语言”。IBM集成解决方案提供水平标准(如EBXML、SOAP 等)、垂直标准(如RIXML)的支持,旨在处理特定行业的数据交换。
4. 对高级搜索能力和分析已集成数据的支持。IBM集成解决方案支持两种语言:旧的 OLTP 和数据仓库使用的 SQL和集成应用程序采用的 XML。内容管理系统利用专用 API 来管理和集成各种不同的非结构化数据集,如文档、音频、图像和视频。IBM集成解决方案还提供文本搜索和数据挖掘相关联的全文搜索、分类、群集和汇总算法,以支持深入分析的应用程序。
5. IBM集成解决方案支持可运行在多种平台上,并支持所有相关的开放标准,还提供透明的访问模式、多种访问方法,使用户可以用自己习惯的方式访问不同应用系统中的数据,从而屏蔽了应用及管理的复杂性。(T004)
大型分布式实时数据库在钢铁中的应用
数据库使用经验漫谈