证券业数据仓库

㈠ 哪种行业可以在数据仓库中保有最过时的信息，但仍有效

证券行业属于数据密集型企业，在日常的工作中积累了大量交易、财务、财经数据。这些海量的数据长期处于无价值状态，如何充分利用这些数据，从这些数据中发 现有价值的信息呢？建立数据仓库是证券公司一个不错的选择。利用数据仓库提供的强大数据分析能力，能使证券公司在提升客户服务、提高资产质量、降低成本上 起到非常重要的作用。

㈡ 数据分析部门与数据仓库部门之间的职责划分应该是怎样

那么究竟数据仓库的“行”在何处：它可以为我们带来什么？为什么“不行”：它的应用为什么不能达到其预期的效果？怎样才能使数据仓库从“不行”的模式转到到“行”的模式？本文试对此进行探讨，并认为数据的集中统一是数据仓库应用的基础；确立合理的数据模型是数据仓库应用的核心；高效的应用系统是数据仓库应用的动力；良好的外部环境是数据仓库成功应用的外部保障。 数据仓库的“行” 这里所说的数据仓库的“行”主要是指数据仓库可以做什么，它的使用能为证券业带来哪些好处，为什么对券商来说是一个行之有效的工具。 数据仓库（Data Warehouse）是在数据库基础上发展而来的，是一个面向主题的、集成的、稳定的、不同时期的数据集合，用以支持企业经营管理中的决策过程。它通常由三个部分构成：数据仓库、联机分析处理及数据挖掘，它们之间具有极强的互补关系。数据仓库用来对大量的数据按一定的结构进行组织存储；联机分析处理则可进行灵活丰富的多维分析与查询，可以从不同的角度去分析企业的运作情况，并对未来进行预测；数据挖掘则是对现有数据进行深层次的研究分析，从中找出对经营管理有用的结论。 由上述对数据仓库的叙述，不难看出特别是对券商这种数据密集型的企业而言，数据仓库技术的应用在以下三个方面有其得天独厚之处和现实的意义： 提升客户服务 虽然大部分券商已积累了大量的客户信息和交易数据，但现在还没有办法对客户的贡献度、盈亏情况、持仓情况及操作习惯等进行统计和分析，为客户提供针对其个人习惯的投资组合建议。而通过建立数据仓库，为客户资料的统计分析提供基本的信息源和辅助工具，已成为券商提高市场竞争能力和客户服务水平的关键。提高资产质量 数据仓库中强大的分析和预测功能为此提供了有力的支持，可根据股市行情走势、上市公司的资料以及宏观微观经济数据等对未来市场进行预测，为客户和自有资产的经营管理提供合理的建议，从而有效地提高资产质量、防范经营风险。降低成本 数据仓库的建立可使券商更加及时、准确地掌握自身的经营状况、资金情况、利润情况、客户群分布等重要的信息，从而能有效地提高管理水平、降低经营成本，使整个证券公司的经营管理更加高效、科学、规范。数据仓库的“不行” 虽然从理论上说数据仓库技术的应用可以为券商带来很大的收益，但实际情况却并不尽如人意，完全意义上的数据仓库的应用在证券业中还鲜有成功的案例，这也使得相当部分券商对它“望而却步”，为什么数据仓库从“行”变成了“不行”，不能有效发挥其应有的作用呢？究其主要原因就是数据仓库技术没有做到与证券业务的有机融合 。系统平台不统一 目前大部分券商所用的业务系统平台并不统一，如交易系统用一种软件，清算系统又用另一种软件，还有的证券公司中各家营业部所采用的业务系统的平台也不一样，而且大部分采用的都是分布的管理模式，这种情况造成了数据的分散、数据结构的多样。而数据仓库的基础是大量集中的、丰富的、按统一规则组织存放的数据，分散的、结构不同的数据使得数据采集困难，数据仓库不能有效地发挥其作用。技术与业务部门欠协调 数据仓库的提出和应用通常都是技术部门在其中扮演重要角色，业务部门参与得较少，但实际上没有业务部门与技术部门之间的很好协调，数据仓库是不可能应用成功的。因为数据仓库技术是管理科学、计算机科学、网络科学和分析手段的大融合，从技术上来说数据库技术的发展已使数据仓库的实现并不困难，而关键在于怎样使用它。数据仓库的成功使用离不开管理思想和业务经验的完美结合，在有了相应的技术支持以后，只有同时具备丰富的业务经验和先进的管理思想的使用者才能成功使用数据仓库，得到有用的信息。缺乏管理经验 数据仓库不乏失败的案例，如美国在对越战争中根据越军对美军攻击的时间和次数而得出了一个“越军在有月亮的晚上最易展开攻击”的无用结论。数据仓库使用时一个重要问题是建立模型，数据仓库的产品一般可使用多种建模方法，如关联法、依赖法、时序法、神经网络以及利用统计分析等等，然后利用模型去对问题进行分析得出相应结论，建立在数据仓库之上的系统都是决策支持系统。而要进行决策，针对一个具体的问题怎样分析，从什么角度进行分析，何种因素是主要的、何种因素是次要的，采用何种方法建模以及怎样建模都要依使用者的经验而定，这就要求使用者对相关的业务非常熟悉并具备相应的管理和分析能力，否则得出的结论就很可能是无用的。而对我国大部分券商而言，缺少的恰好就是这种经验，而且券商经营管理中的不规范也为数据仓库的成功应用增加了难度。受政策影响较大 人们将市场对经济的自动调节比喻为“一只看不见的手”，而股市则是反映经济情况的晴雨表，经济学家一直试图通过对市场的研究找出经济发展的规律，数据仓库的主要效用之一也就是通过对已有数据的分析借以揭示市场内在的发展规律，从而得出市场可能的走向。但纵观中国证券市场十多年的风风雨雨，国家政策与宏观调控这只“看得见的手”在其中起了举足轻重的作用，当然这是由于我国证券市场先天基础不好，发展不规范使得国家不得不采取措施加以调整，但这也使得证券市场无可避免地打上了国家政策的烙印。这种情况下，单纯根据市场规律，用数据仓库进行分析得到的预测结果与实际情况就会有所偏差。从“不行”到“行” 如何将数据仓库的“不行”变为“行”，使其在我国的证券业发展中发挥巨大的作用，是广大券商普遍关心的一个问题 。那么在找出“不行”的原因之后我们就可“对症下药”采取相应的措施了。 数据的集中统一是数据仓库应用的基础。首先要统一券商所用信息系统的平台，各营业部均应采用统一的系统平台，同时各业务系统也采用统一的平台，统一数据结构。并采用集中的经营管理模式，使所有的数据都按相同的结构集中存放在一起，方便数据采集，做好数据仓库应用的基础工作。 确立合理的数据模型是数据仓库应用的核心。电脑技术人员知道数据仓库可以“做什么”，业务人员则知道具体的分析要“怎么做”，为此应将技术部门与相关的业务部门进行很好的协调，充分发挥技术人员和业务人员的优势，根据证券业和本公司的具体情况选用合适的方法建立模型，这些模型经过检验正确后就可作为整个数据仓库的核心，为经营管理提供决策建议。 高效的应用系统是数据仓库应用的动力。数据模型建好以后，要使其发挥应有的作用就应在其上建立相应的应用系统，包括客户关系管理系统、市场分析和风险控制系统等等，只有当建立于数据仓库基础之上的应用系统在券商的发展中起了很好的作用以后，证券公司的老总们才能充分意识到数据仓库的重要性，这就是数据仓库应用发展的动力所在。 良好的外部环境是数据仓库成功应用的外部保障。令人欣慰的是国家已意识到证券市场健康稳定的重要性，证监会等领导机构对券商和上市公司的要求越来越严格，监管力度不断加强，这一切都促使中国股市朝健康稳定的方向发展。我们有理由相信随着我国证券市场的逐步规范，股市也必将按市场规律进行发展，数据仓库就会发挥越来越大的作用。 结束语 数据仓库的应用在国外取得了很大的成功，但中国与外国在数据仓库的应用环境方面有很大的区别，所以数据仓库在中国的应用成功的案例并不多。为了促进这项技术在证券业的成功应用，除了证监会等领导机构对证券市场进行规范为其创造良好的外部环境之外，更重要的是各证券公司注意业务系统平台的集中统一和技术与业务的有机融合，做好数据仓库应用的准备，勇敢面对加入WTO所带来的挑战。
-

㈢ 哪里可以看券基持仓

用大智慧、指南针、同花顺的赢富数据版软件就可以了。不过一年要23000。免费的就上网看，顶牛网、兔马窝、股参网等等都可以查询。不过图形不好看而已。

赢富：是上海证券交易所信息服务的品牌名。上证所于2005年建设完成目前国内金融行业数据容量最大的数据仓库，该数据仓库涵盖了上证所成立以来所有的历史数据及最新增量数据，范围包括交易核心数据、交易相关数据和上市公司数据等，数据类型则包含结构化数据和非结构化数据，是一个涵盖从数据清洗、存储、整合、查询、统计分析运用到高端分析、挖掘和预测的企业智能信息平台。
TopView（赢富）信息正是基于上证所数据仓库海量、权威的信息资源，特别为满足广大投资者、上市公司、证券经营机构和所有市场参与者的需求而精心设计开发的。TopView（赢富）品牌旗下系列服务包含：盘中交易统计服务、盘后交易统计服务、上市公司个性化信息服务、证券机构个性化信息服务等。

“不股票我要说的是，你的信息好像也太之后了，没有停水赢富数据元月1号就停掉了么？上证的赢富数据都停了，你说的哪几家哪里还有赢富数据的产品呢？”——
——你说清楚点，我看不懂。

㈣ 如何建立企业级数据仓库

随着计算机应用的深入，大量数据存储在计算机中，信息的存储、管理、使用和维护显得越来越重要，而传统的数据库管理系统很难满足其要求。为了解决大数据量、异构数据集成以及访问数据的响应速度问题，采用数据仓库技术，为最终用户处理所需的决策信息提供有效方法。
1 数据仓库
数据仓库是为管理人员进行决策提供支持的一种面向主题的、集成的、非易失的并随时间而变化的数据集合。数据仓库是一种作为决策支持系统和联机分析应用数据源的结构化数据环境。
从目前数据仓库的发展来讲，数据可以存放于不同类型的数据库中，数据仓库是将异种数据源在单个站点以统一的模型组织的存储，以支持管理决策。数据仓库技术包括数据清理、数据集成、联机分析处理（OLAP）和数据挖掘（DM）。OLAP是多维查询和分析工具，支持决策者围绕决策主题对数据进行多角度、多层次的分析。OLAP侧重于交互性、快速的响应速度及提供数据的多维视图，而DM则注重自动发现隐藏在数据中的模式和有用信息。OLAP的分析结果可以给DM提供分析信息，作为挖掘的依据；DM可以拓展OLAP分析的深度，可以发现OLAP所不能发现的更为复杂、细致的信息。OLAP是联机分析处理，DM是通过对数据库、数据仓库中的数据进行分析而获得知识的方法和技术，即通过建立模型来发现隐藏在组织机构数据库中的模式和关系。这两者结合起来可满足企业对数据整理和信息提取的要求，帮助企业高层做出决策。在欧美发达国家，以数据仓库为基础的在线分析处理和数据挖掘应用，首先在金融、保险、证券、电信等传统数据密集型行业取得成功。IBM、oracle、Teradata、Microsoft、Netezza和SAS等有实力的公司相继推出了数据仓库解决方案。
近几年开始流行“分布式数据仓库”，是在多个物理位置应用全局逻辑模型。数据被逻辑地分成多个域，但不同位置不会有重复的数据。这种分布式方法可以为不同的物理数据创建安全区域，或为全球不同时区的用户提供全天候的服务。此外，有由Kognitio发起数据仓库托管服务，即DBMS厂商为客户开发和运行数据仓库。这种最初出现在业务部门，业务部门购买托管服务，而不是使用企业内IT部门提供的数据仓库。
2 数据挖掘技术
数据挖掘（DataMining），又称数据库中的知识发现（KnoWledge Discoveryin Database，KDD），是指从大型数据库或数据仓库中提取隐含的、未知的、非平凡的及有潜在应用价值并最终可为用户理解的模式过程。它是数据库研究中的很有应用价值的新领域，是人工智能、机器学习、数理统计学和神经元网络等技术在特定的数据仓库领域中的应用。数据挖掘的核心模块技术历经数十年的发展，其中包括数理统计、人工智能、机器学习。从技术角度看，数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含在其中的、人们所不知道的、但又是潜在有用的信息和知识的过程。从商业应用角度看，数据挖掘是崭新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转化、分析和模式化处理，从中提取辅助商业决策的关键知识。
从技术角度讲，数据挖掘可应用于以下方面：
（1）关联规则发现是在给定的事物集合中发现满足一定条件的关联规则，简单来讲，就是挖掘出隐藏在数据间的相互关系，为业务主题提供指导。
（2）序列模式分析和关联规则发现相似，但其侧重点在于分析数据间的前后关系。模式是按时间有序的。序列模式发现是在与时间有关的事物数据库中发现满足用户给定的最小支持度域值的所有有序序列。
（3）分类分析与聚类分析，分类规则的挖掘实际上是根据分类模型从数据对象中发现共性，并把它们分成不同的类的过程。聚类时间是将d维空间的n个数据对象，划分到k个类中，使得一个类内的数据对象间的相似度高于其他类中数据对象。聚类分析可以发现没有类别标记的一组数据对象的特性，总结出一个类别的特征。
（4）自动趋势预测，数据挖掘能自动在大型数据库里面寻找潜在的预测信息。一个典型的利用数据挖掘进行预测的例子就是目标营销。数据挖掘工具可以根据过去邮件推销中的大量数据找出其中最有可能对将来的邮件推销作出反应的客户。
3 联机分析（OLAP）处理技术
联机分析（OLAP）是数据仓库实现为决策提供支持的重要工具，是共享多维信息，针对特定问题的联机数据访问和分析的快速软件技术。是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来，能够真正为用户所理解，并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术（OLAP委员会的定义）。OLAP的特性包括：①快速性：系统应能在5s内对用户的大部分分析要求做出反应；②可分析性：能处理与应用有关的任何逻辑分析和统计分析；⑨多维性：多维性是OLAP的关键属性。系统必须提供对数据的多维视图和分析，包括对层次维和多重层次维的完全支持；④信息性：系统应能及时获得信息，并能管理大容量信息。
OLAP的数据结构是多维，目前存在方式：①超立方结构（Hypercube），指用三维或更多的维数来描述一个对象，每个维彼此垂直。数据的测量值发生在维的交叉点上，数据空间的各部分都有相同的维属性（收缩超立方结构。这种结构的数据密度更大，数据的维数更少，并可加入额外的分析维）；②多立方结构（Multicube），即将超立方结构变为子立方结构。面向某特定应用对维分割，它具有强灵活性，提高了数据（特别是稀疏数据）的分析效率。分析方法包括：切片、切块、旋转、钻取等。
OLAP也被称为共享的多维数据的快速分析FASMI，应用在数据密集型行业，如市场和销售分析、电子商务的分析、基于历史数据的营销、预算、财务报告与整合、管理报告、利益率、质量分析等。
4 小 结
采用数据仓库的数据挖掘及联机分析技术实现的决策支持系统，是弥补传统辅助决策系统能力不足的有效途径，具有重要的现实意义。

㈤ 国内券商（证券行业）IT发展现状及问题分析

1992年—1994年，国内诞生了柜台系统和电话委托系统，股民可以通过电话进行股票交易。1998年，诞生了网上委托业务，有条件的股民可以通过网络进行交易。2003年，诞生了集中交易系统，所有交易不必在营业部进行，直接在券商总部集中进行交易。2005年可以通过手机进行炒股，在手机普及的中国，广大股民又多了一条方便炒股的途径。
2006年，为了保证客户资金安全，在监管要求下诞生了三方存管系统，券商接受的客户资金必须保存在银行，这样避免了券商挪用客户资金的情况发生。2004年—2008年，随着证券业务种类多样化，诞生了集合理财系统、投行系统、固定收益系统、以及目前正在建设当中的股指期货系统和融资融券系统。短短20年时间，伴随着券商业务模式的变革，国内券商的IT系统发生了巨大的变化。目前很多券商90%以上的收益来自于经纪业务，而经纪业务中超过70%的收益来自于网上交易，而不是传统的营业部终端交易或电话委托交易，网上交易系统的重要性不言而喻。由此可见，核心IT系统能否安全稳定运行直接决定券商业务是否能够正常开展，直接关系到广大股民的利益。

虽然券商的IT建设在短时间内取得了巨大发展，但是当前仍然存在着一些重要的不足制约券商业务的创新和发展，主要表现在以下几个方面。
一、国内券商的IT侧重在IT运维，主要精力投入在保障系统安全稳定运行方面，而忽略了自主开发的能力的培养，在支持业务创新方面能力明显不足，某种程度上限制了业务发展；
二、重要业务系统建设如集中交易系统、行情系统等被几家供应商垄断，券商选择的余地不大。券商缺乏对于供应商的掌控能力；
三、管理层更多关心业务发展，对IT了解较少，对IT在公司发展中的作用认识不够充分，缺乏IT治理的能力，没有有效的利用IT的价值；
四、IT发展战略不明确，缺少IT规划。IT架构相对落后；
五、IT与业务沟通存在障碍，互相不能理解对方的语言；
六、IT缺乏精细化管理；
七、IT员工的能力有待进一步提高。
相比而言，台湾的证券公司IT应用发展水平明显高于大陆。以CRM为例，在国内很多证券公司建立了CRM系统，其仅仅是作为解答客户疑问的帮助平台；而在台湾，富邦证券也建立了CRM系统，但其发挥作用远不仅是一个回答客户问题的帮助台。富邦证券成立之初，面临的情况和现在大陆券商类似：建立了CRM系统，仅用于解答客户问题。当时大部分业务部门均以各自产品为导向，独立发展，缺乏跨业务部门的公司层面的CRM策略。客户信息分散在各个子公司的客户数据库中，他们在进行客户分析和营销活动计划时无法对客户进行整体性评价，缺乏对客户的研究，客户服务水平一般。各子公司进行客户管理和客户营销时，各自为战，对一个客户多次进行产品营销，甚至出现各子公司争抢客户，导致内部资源的浪费和客户忠诚度降低。富邦证券意识到了这个问题，建立了公司统一的数据仓库，整合所有子公司的客户资料，并在此基础上建设CRM系统将客户信息、营销流程以及销售渠道进行整合以支持公司的交叉销售策略。

CRM系统建设过程中，将营销系统与Call Center、个人理财和客户经理系统等销售渠道进行整合，以形成端到端的CRM环路，如直邮（Direct Mail）、Call Center（包括Auto-dialer、SMS、FAX、E-mail）、Internet、客户经理系统等。经过前端渠道处理过的信息（客户反馈信息），再通过整合的信息交互渠道，传回CRM系统进行进一步的分析和决策，达到分析型CRM系统与操作型CRM系统的无缝整合。使得客户感受到了无缝隙的服务，展现在客户面前的是一个整合的富邦证券，而不是以前的富邦证券的经纪业务部门、投资咨询部门等等独立的个体，真正实现了IT引领业务发展。
通过整合销售渠道，将数据分析、营销管理人员与销售渠道联结起来，不仅提高了营销的效率，缩短了反馈周期，而且真正利用CRM系统主动服务于客户，大大优化了客户体验，赢得了良好的口碑，也为公司带来了巨大的经济效益。
证券公司应该根据自己在行业内的定位，结合公司发展战略，选择适合自己的发展道路。如果要成为行业的领先者，要以更好的为客户提供服务为中心，要制定清晰务实的战略方向，根据业务战略制定出IT发展目标和IT实施规划，通过提高自主研发能力增强对IT系统供应商的控制力和谈判筹码，深度挖掘IT的价值，促进IT与业务的融合，将IT这个战略工具牢牢把握在自己手里。另外由于监管部门在对券商评级时对信息安全和IT治理方面提出了明确的要求，因此各券商在这两个方面也要给予足够的重视和投入。
当前国内券商无论是业务还是IT都到了一个转型的时期，中登公司最新的数据，截止2009年06月19日，沪深两市共有A股账户12,773.72万户，B股账户242.74万户；有效账户10,974.49万户。这个数字对于证券公司来讲不一定是好事，说明市场可能已经接近饱和，虽然股民开户数已经突破一亿户，但是活动账户大概只有3000万户，这意味各券商只能从现有的这些交易活跃股民中去和其他券商争抢客户，才能保证公司效益，彼此竞争将更加激烈。国内证券公司的交易系统，行情系统，CRM系统都大同小异，如果要吸引客户来本公司开户，必须通过提供差异化的增值服务，形成公司的品牌和特色。在这个过程中，IT起到至关重要的作用。目前国信证券和招商证券在这方面走在前列。
从去年开始，国内一些证券公司组织中层以上公司的骨干去台湾、美国和欧洲的金融机构学习其先进的经验，其中也包括如何更有效的利用IT为公司创造更多价值。这表明一些先知先觉的人已经意识到现在到了必须做出变革的时候，不能像以前一样靠天吃饭，否则被淘汰只是早晚的事情。
伴随着创业板的上市，股指期货以及融资融券业务的推出，未来国内资本市场将会愈加繁荣。各种新的业务产品及衍生品将会层出不穷。国内券商的IT能否跟上业务发展的脚步，这对广大券商的CIO们来说是一个需要思考的现实问题。

㈥ 企业如何更好的搭建数据仓库

0 引 言
随着计算机应用的深入，大量数据存储在计算机中，信息的存储、管理、使用和维护显得越来越重要，而传统的数据库管理系统很难满足其要求。为了解决大数据量、异构数据集成以及访问数据的响应速度问题，采用数据仓库技术，为最终用户处理所需的决策信息提供有效方法。
1 数据仓库
数据仓库是为管理人员进行决策提供支持的一种面向主题的、集成的、非易失的并随时间而变化的数据集合。数据仓库是一种作为决策支持系统和联机分析应用数据源的结构化数据环境。
从目前数据仓库的发展来讲，数据可以存放于不同类型的数据库中，数据仓库是将异种数据源在单个站点以统一的模型组织的存储，以支持管理决策。数据仓库技术包括数据清理、数据集成、联机分析处理（OLAP）和数据挖掘（DM）。OLAP是多维查询和分析工具，支持决策者围绕决策主题对数据进行多角度、多层次的分析。OLAP侧重于交互性、快速的响应速度及提供数据的多维视图，而DM则注重自动发现隐藏在数据中的模式和有用信息。OLAP的分析结果可以给DM提供分析信息，作为挖掘的依据；DM可以拓展OLAP分析的深度，可以发现OLAP所不能发现的更为复杂、细致的信息。OLAP是联机分析处理，DM是通过对数据库、数据仓库中的数据进行分析而获得知识的方法和技术，即通过建立模型来发现隐藏在组织机构数据库中的模式和关系。这两者结合起来可满足企业对数据整理和信息提取的要求，帮助企业高层做出决策。在欧美发达国家，以数据仓库为基础的在线分析处理和数据挖掘应用，首先在金融、保险、证券、电信等传统数据密集型行业取得成功。IBM、oracle、Teradata、Microsoft、Netezza和SAS等有实力的公司相继推出了数据仓库解决方案。
近几年开始流行“分布式数据仓库”，是在多个物理位置应用全局逻辑模型。数据被逻辑地分成多个域，但不同位置不会有重复的数据。这种分布式方法可以为不同的物理数据创建安全区域，或为全球不同时区的用户提供全天候的服务。此外，有由Kognitio发起数据仓库托管服务，即DBMS厂商为客户开发和运行数据仓库。这种最初出现在业务部门，业务部门购买托管服务，而不是使用企业内IT部门提供的数据仓库。
2 数据挖掘技术
数据挖掘（DataMining），又称数据库中的知识发现（KnoWledge Discoveryin Database，KDD），是指从大型数据库或数据仓库中提取隐含的、未知的、非平凡的及有潜在应用价值并最终可为用户理解的模式过程。它是数据库研究中的很有应用价值的新领域，是人工智能、机器学习、数理统计学和神经元网络等技术在特定的数据仓库领域中的应用。数据挖掘的核心模块技术历经数十年的发展，其中包括数理统计、人工智能、机器学习。从技术角度看，数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含在其中的、人们所不知道的、但又是潜在有用的信息和知识的过程。从商业应用角度看，数据挖掘是崭新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转化、分析和模式化处理，从中提取辅助商业决策的关键知识。
从技术角度讲，数据挖掘可应用于以下方面：
（1）关联规则发现是在给定的事物集合中发现满足一定条件的关联规则，简单来讲，就是挖掘出隐藏在数据间的相互关系，为业务主题提供指导。
（2）序列模式分析和关联规则发现相似，但其侧重点在于分析数据间的前后关系。模式是按时间有序的。序列模式发现是在与时间有关的事物数据库中发现满足用户给定的最小支持度域值的所有有序序列。
（3）分类分析与聚类分析，分类规则的挖掘实际上是根据分类模型从数据对象中发现共性，并把它们分成不同的类的过程。聚类时间是将d维空间的n个数据对象，划分到k个类中，使得一个类内的数据对象间的相似度高于其他类中数据对象。聚类分析可以发现没有类别标记的一组数据对象的特性，总结出一个类别的特征。
（4）自动趋势预测，数据挖掘能自动在大型数据库里面寻找潜在的预测信息。一个典型的利用数据挖掘进行预测的例子就是目标营销。数据挖掘工具可以根据过去邮件推销中的大量数据找出其中最有可能对将来的邮件推销作出反应的客户。
3 联机分析（OLAP）处理技术
联机分析（OLAP）是数据仓库实现为决策提供支持的重要工具，是共享多维信息，针对特定问题的联机数据访问和分析的快速软件技术。是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来，能够真正为用户所理解，并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术（OLAP委员会的定义）。OLAP的特性包括：①快速性：系统应能在5s内对用户的大部分分析要求做出反应；②可分析性：能处理与应用有关的任何逻辑分析和统计分析；⑨多维性：多维性是OLAP的关键属性。系统必须提供对数据的多维视图和分析，包括对层次维和多重层次维的完全支持；④信息性：系统应能及时获得信息，并能管理大容量信息。
OLAP的数据结构是多维，目前存在方式：①超立方结构（Hypercube），指用三维或更多的维数来描述一个对象，每个维彼此垂直。数据的测量值发生在维的交叉点上，数据空间的各部分都有相同的维属性（收缩超立方结构。这种结构的数据密度更大，数据的维数更少，并可加入额外的分析维）；②多立方结构（Multicube），即将超立方结构变为子立方结构。面向某特定应用对维分割，它具有强灵活性，提高了数据（特别是稀疏数据）的分析效率。分析方法包括：切片、切块、旋转、钻取等。
OLAP也被称为共享的多维数据的快速分析FASMI，应用在数据密集型行业，如市场和销售分析、电子商务的分析、基于历史数据的营销、预算、财务报告与整合、管理报告、利益率、质量分析等。
4 小 结
采用数据仓库的数据挖掘及联机分析技术实现的决策支持系统，是弥补传统辅助决策系统能力不足的有效途径，具有重要的现实意义。

㈦ 哪些商业应用在数据仓库中即使拥有过期的数据也依然有效

在大数据成为趋势，成为国家战略的今天，如何最大限度发挥大数据的价值成为人们思考的问题。无论是对于互联网企业、电信运营商还是数量众多的初创企业而言，大数据的变现显得尤为重要。谁最先一步找到密码，谁就能够抢占市场，赢得发展。在探索大数据商业模式的同时，大数据正加速在各行各业的应用，大数据不仅为人们的购物、出行、交友提供了帮助，甚至还在高考这样重要的事件中发挥作用。大数据产业具有无污染、生态友好、低投入高附加值特点，对于我国转变过去资源因素型经济增长方式、推进“互联网+”行动计划、实现国家制造业30年发展目标有战略意义。前几年，国内大数据产业讨论较多、落地较少，商业模式处于初探期，行业处于两种极端：一种是过热的浮躁带来了一定的泡沫和产业风险；一种是怀疑大数据只是炒作，依然坚持传统管理理念、经营模式。但是进入2015年之后，大数据产业告别了泡沫，进入更务实的发展阶段，从产业萌芽期进入了成长期。当前，如何将大数据变现成为业界探索的重要方向。B2B大数据交易所国内外均有企业在推动大数据交易。目前，我国正在探索“国家队”性质的B2B大数据交易所模式。2014年2月20日，国内首个面向数据交易的产业组织—中关村大数据交易产业联盟成立，同日，中关村数海大数据交易平台启动，定位大数据的交易服务平台。2015年4月15日，贵阳大数据交易所正式挂牌运营并完成首批大数据交易。贵阳大数据交易所完成的首批数据交易卖方为深圳市腾讯计算机系统有限公司、广东省数字广东研究院，买方为京东云平台、中金数据系统有限公司。2015年5月26日，在2015贵阳国际大数据产业博览会暨全球大数据时代贵阳峰会上，贵阳大数据交易所推出《2015年中国大数据交易白皮书》和《贵阳大数据交易所702公约》，为大数据交易所的性质、目的、交易标的、信息隐私保护等指明了方向，奠定了大数据金矿变现的产业基础。咨询研究报告国内咨询报告的数据大多来源于国家统计局等各部委的统计数据，由专业的研究员对数据加以分析、挖掘，找出各行业的定量特点进而得出定性结论，常见于“市场调研分析及发展咨询报告”，如“2015～2020年中国通信设备行业市场调研分析及发展咨询报告”、“2015～2020年中国手机行业销售状况分析及发展策略”、“2015年光纤市场分析报告”等，这些咨询报告面向社会销售，其实就是O2O的大数据交易模式。各行各业的分析报告为行业内的大量企业提供了智力成果、企业运营和市场营销的数据参考，有利于市场优化供应链，避免产能过剩，维持市场稳定。这些都是以统计部门的结构化数据和非结构化数据为基础的专业研究，这就是传统的一对多的行业大数据商业模式。数据挖掘云计算软件云计算的出现为中小企业分析海量数据提供了廉价的解决方案，SaaS模式是云计算的最大魅力所在。云计算服务中SaaS软件可以提供数据挖掘、数据清洗的第三方软件和插件。业内曾有专家指出，大数据=海量数据+分析软件+挖掘过程，通过强大的各有千秋的分析软件来提供多样性的数据挖掘服务就是其盈利模式。国内已经有大数据公司开发了这些架构在云端的大数据分析软件：它集统计分析、数据挖掘和商务智能于一体，用户只需要将数据导入该平台，就可以利用该平台提供的丰富算法和模型，进行数据处理、基础统计、高级统计、数据挖掘、数据制图和结果输出等。数据由系统统一进行管理，能够区分私有和公有数据，可以保证私有数据只供持有者使用，同时支持多样数据源接入，适合分析各行各业的数据，易学好用、操作界面简易直观，普通用户稍做了解即可使用，同时也适合高端用户自己建模进行二次开发。大数据咨询分析服务机构及企业规模越大其拥有的数据量就越大，但是很少有企业像大型互联网公司那样有自己的大数据分析团队，因此必然存在一些专业型的大数据咨询公司，这些公司提供基于管理咨询的大数据建模、大数据分析、商业模式转型、市场营销策划等，有了大数据作为依据，咨询公司的结论和咨询成果更加有说服力，这也是传统咨询公司的转型方向。比如某国外大型IT研究与顾问咨询公司的副总裁在公开场合曾表示，大数据能使贵州农业节省60%的投入，同时增加80%的产出。该公司能做出这样的论断当然是基于其对贵州农业、天气、土壤等数据的日积月累以及其建模分析能力。政府决策咨询智库党的十八届三中全会通过的《中共中央关于全面深化改革若干重大问题的决定》明确提出，加强中国特色新型智库建设，建立健全决策咨询制度。这是中共中央文件首次提出“智库”概念。近几年，一批以建设现代化智库为导向、以服务国家发展战略为目标的智库迅速成立，中国智库数量从2008年的全球第12位跃居当前第2位。大数据是智库的核心，没有了数据，智库的预测和分析将为无源之水。在海量信息甚至泛滥的情况下，智库要提升梳理、整合信息的能力必然需要依靠大数据分析。研究认为，93%的行为是可以预测的，如果将事件数字化、公式化、模型化，其实多么复杂的事件都是有其可以预知的规律可循，事态的发展走向是极易被预测的。可见，大数据的应用将不断提高政府的决策效率和决策科学性。自有平台大数据分析随着大数据的价值被各行各业逐渐认可，拥有广大客户群的大中型企业也开始开发、建设自有平台来分析大数据，并嵌入到企业内部的ERP系统信息流，由数据来引导企业内部决策、运营、现金流管理、市场开拓等，起到了企业内部价值链增值的作用。在分析1.0时代，数据仓库被视作分析的基础。2.0时代，公司主要依靠Hadoop集群和NoSQL数据库。3.0时代的新型“敏捷”分析方法和机器学习技术正在以更快的速度来提供分析结果。的企业将在其战略部门设置首席分析官，组织跨部门、跨学科、知识结构丰富、营销经验丰富的人员进行各种类型数据的混合分析。大数据投资工具证券市场行为、各类指数与投资者的分析、判断以及情绪都有很大关系。2002年诺贝尔经济学奖授予了行为经济学家卡尼曼和实验经济学家史密斯，行为经济学开始被主流经济学所接受，行为金融理论将心理学尤其是行为科学理论融入金融中。现实生活中拥有大量用户数据的互联网公司将其论坛、博客、新闻报道、文章、网民用户情绪、投资行为与股票行情对接，研究的是互联网的行为数据，关注热点及市场情绪，动态调整投资组合，开发出大数据投资工具，比如大数据类基金等。这些投资工具直接将大数据转化为投资理财产品。定向采购线上交易平台数据分析结果很多时候是其他行业的业务基础，国内目前对实体经济的电子商务化已经做到了B2C、C2C、B2B等，甚至目前O2O也越来越流行，但是对于数据这种虚拟商品而言，目前还没有具体的线上交易平台。比如服装制造企业针对某个省份的市场，需要该市场客户的身高、体重的中位数和平均数数据，那么医院体检部门、专业体检机构就是这些数据的供给方。通过获取这些数据，服装企业将可以开展精细化生产，以更低的成本生产出贴合市场需求的服装。假想一下，如果有这样一个“大数据定向采购平台”，就像淘宝购物一样，可以发起买方需求，也可以推出卖方产品，通过这样的模式，外加第三方支付平台，“数据分析结论”这种商品就会悄然而生，这种商品不占用物流资源、不污染环境、快速响应，但是却有“供”和“需”双方巨大的市场。而且通过这种平台可以保障基础数据安全，大数据定向采购服务平台交易的不是底层的基础数据，而是通过清洗建模出来的数据结果。所有卖方、买方都要实名认证，建立诚信档案机制并与国家信用体系打通。非营利性数据征信评价机构在国家将公民信息保护纳入刑法范围之前，公民个人信息经常被明码标价公开出售,并且形成了一个“灰色产业”。为此，2009年2月28日通过的刑法修正案（七）中新增了出售、非法提供公民个人信息罪，非法获取公民个人信息罪。该法条中特指国家机关或者金融、电信、交通、教育、医疗等单位的工作人员，不得将公民个人信息出售或非法提供给他人。而公民的信息在各种考试中介机构、房产中介、钓鱼网站、网站论坛依然在出售，诈骗电话、骚扰电话、推销电话在增加运营商话务量的同时也在破坏整个社会的信用体系和公民的安全感。虽然数据交易之前是交易所规定的经过数据清洗的数据，但是交易所员工从本质上是无法监控全国海量的数据的。数据清洗只是对不符合格式要求的数据进行清洗，主要有不完整的数据、错误的数据、重复的数据三大类。因此，建立非营利性数据征信评价机构是非常有必要的，将数据征信纳入企业及个人征信系统，作为全国征信系统的一部分，避免黑市交易变成市场的正常行为。除了征信评价机构之外，未来国家公共安全部门也许会成立数据安全局，纳入网络警察范畴，重点打击将侵犯企业商业秘密、公民隐私的基础数据进行数据贩卖的行为。结语：大数据已经从论坛串场、浮躁的观点逐步走向国家治理体系建设、营销管理、生产管理、证券市场等方面，其商业模式也多种多样。市场经验表明，存在买卖就存在商品经济，具体哪种商业模式占主流将由市场决定。而最终的事实将证明，大数据交易商品经济必然成为“互联网+”的重要组成部分。

㈧ 数据仓库在证券业如何应用

那么究竟数据仓库的“行”在何处：它可以为我们带来什么？为什么“不行”：它的应用为什么不能达到其预期的效果？怎样才能使数据仓库从“不行”的模式转到到“行”的模式？本文试对此进行探讨，并认为数据的集中统一是数据仓库应用的基础；确立合理的数据模型是数据仓库应用的核心；高效的应用系统是数据仓库应用的动力；良好的外部环境是数据仓库成功应用的外部保障。 数据仓库的“行” 这里所说的数据仓库的“行”主要是指数据仓库可以做什么，它的使用能为证券业带来哪些好处，为什么对券商来说是一个行之有效的工具。 数据仓库（Data Warehouse）是在数据库基础上发展而来的，是一个面向主题的、集成的、稳定的、不同时期的数据集合，用以支持企业经营管理中的决策过程。它通常由三个部分构成：数据仓库、联机分析处理及数据挖掘，它们之间具有极强的互补关系。数据仓库用来对大量的数据按一定的结构进行组织存储；联机分析处理则可进行灵活丰富的多维分析与查询，可以从不同的角度去分析企业的运作情况，并对未来进行预测；数据挖掘则是对现有数据进行深层次的研究分析，从中找出对经营管理有用的结论。 由上述对数据仓库的叙述，不难看出特别是对券商这种数据密集型的企业而言，数据仓库技术的应用在以下三个方面有其得天独厚之处和现实的意义： 提升客户服务 虽然大部分券商已积累了大量的客户信息和交易数据，但现在还没有办法对客户的贡献度、盈亏情况、持仓情况及操作习惯等进行统计和分析，为客户提供针对其个人习惯的投资组合建议。而通过建立数据仓库，为客户资料的统计分析提供基本的信息源和辅助工具，已成为券商提高市场竞争能力和客户服务水平的关键。 提高资产质量 数据仓库中强大的分析和预测功能为此提供了有力的支持，可根据股市行情走势、上市公司的资料以及宏观微观经济数据等对未来市场进行预测，为客户和自有资产的经营管理提供合理的建议，从而有效地提高资产质量、防范经营风险。 降低成本 数据仓库的建立可使券商更加及时、准确地掌握自身的经营状况、资金情况、利润情况、客户群分布等重要的信息，从而能有效地提高管理水平、降低经营成本，使整个证券公司的经营管理更加高效、科学、规范。 数据仓库的“不行” 虽然从理论上说数据仓库技术的应用可以为券商带来很大的收益，但实际情况却并不尽如人意，完全意义上的数据仓库的应用在证券业中还鲜有成功的案例，这也使得相当部分券商对它“望而却步”，为什么数据仓库从“行”变成了“不行”，不能有效发挥其应有的作用呢？究其主要原因就是数据仓库技术没有做到与证券业务的有机融合 。 系统平台不统一 目前大部分券商所用的业务系统平台并不统一，如交易系统用一种软件，清算系统又用另一种软件，还有的证券公司中各家营业部所采用的业务系统的平台也不一样，而且大部分采用的都是分布的管理模式，这种情况造成了数据的分散、数据结构的多样。而数据仓库的基础是大量集中的、丰富的、按统一规则组织存放的数据，分散的、结构不同的数据使得数据采集困难，数据仓库不能有效地发挥其作用。 技术与业务部门欠协调 数据仓库的提出和应用通常都是技术部门在其中扮演重要角色，业务部门参与得较少，但实际上没有业务部门与技术部门之间的很好协调，数据仓库是不可能应用成功的。因为数据仓库技术是管理科学、计算机科学、网络科学和分析手段的大融合，从技术上来说数据库技术的发展已使数据仓库的实现并不困难，而关键在于怎样使用它。数据仓库的成功使用离不开管理思想和业务经验的完美结合，在有了相应的技术支持以后，只有同时具备丰富的业务经验和先进的管理思想的使用者才能成功使用数据仓库，得到有用的信息。 缺乏管理经验 数据仓库不乏失败的案例，如美国在对越战争中根据越军对美军攻击的时间和次数而得出了一个“越军在有月亮的晚上最易展开攻击”的无用结论。数据仓库使用时一个重要问题是建立模型，数据仓库的产品一般可使用多种建模方法，如关联法、依赖法、时序法、神经网络以及利用统计分析等等，然后利用模型去对问题进行分析得出相应结论，建立在数据仓库之上的系统都是决策支持系统。而要进行决策，针对一个具体的问题怎样分析，从什么角度进行分析，何种因素是主要的、何种因素是次要的，采用何种方法建模以及怎样建模都要依使用者的经验而定，这就要求使用者对相关的业务非常熟悉并具备相应的管理和分析能力，否则得出的结论就很可能是无用的。而对我国大部分券商而言，缺少的恰好就是这种经验，而且券商经营管理中的不规范也为数据仓库的成功应用增加了难度。 受政策影响较大 人们将市场对经济的自动调节比喻为“一只看不见的手”，而股市则是反映经济情况的晴雨表，经济学家一直试图通过对市场的研究找出经济发展的规律，数据仓库的主要效用之一也就是通过对已有数据的分析借以揭示市场内在的发展规律，从而得出市场可能的走向。但纵观中国证券市场十多年的风风雨雨，国家政策与宏观调控这只“看得见的手”在其中起了举足轻重的作用，当然这是由于我国证券市场先天基础不好，发展不规范使得国家不得不采取措施加以调整，但这也使得证券市场无可避免地打上了国家政策的烙印。这种情况下，单纯根据市场规律，用数据仓库进行分析得到的预测结果与实际情况就会有所偏差。 从“不行”到“行” 如何将数据仓库的“不行”变为“行”，使其在我国的证券业发展中发挥巨大的作用，是广大券商普遍关心的一个问题 。那么在找出“不行”的原因之后我们就可“对症下药”采取相应的措施了。 数据的集中统一是数据仓库应用的基础。首先要统一券商所用信息系统的平台，各营业部均应采用统一的系统平台，同时各业务系统也采用统一的平台，统一数据结构。并采用集中的经营管理模式，使所有的数据都按相同的结构集中存放在一起，方便数据采集，做好数据仓库应用的基础工作。 确立合理的数据模型是数据仓库应用的核心。电脑技术人员知道数据仓库可以“做什么”，业务人员则知道具体的分析要“怎么做”，为此应将技术部门与相关的业务部门进行很好的协调，充分发挥技术人员和业务人员的优势，根据证券业和本公司的具体情况选用合适的方法建立模型，这些模型经过检验正确后就可作为整个数据仓库的核心，为经营管理提供决策建议。 高效的应用系统是数据仓库应用的动力。数据模型建好以后，要使其发挥应有的作用就应在其上建立相应的应用系统，包括客户关系管理系统、市场分析和风险控制系统等等，只有当建立于数据仓库基础之上的应用系统在券商的发展中起了很好的作用以后，证券公司的老总们才能充分意识到数据仓库的重要性，这就是数据仓库应用发展的动力所在。 良好的外部环境是数据仓库成功应用的外部保障。令人欣慰的是国家已意识到证券市场健康稳定的重要性，证监会等领导机构对券商和上市公司的要求越来越严格，监管力度不断加强，这一切都促使中国股市朝健康稳定的方向发展。我们有理由相信随着我国证券市场的逐步规范，股市也必将按市场规律进行发展，数据仓库就会发挥越来越大的作用。 结束语 数据仓库的应用在国外取得了很大的成功，但中国与外国在数据仓库的应用环境方面有很大的区别，所以数据仓库在中国的应用成功的案例并不多。为了促进这项技术在证券业的成功应用，除了证监会等领导机构对证券市场进行规范为其创造良好的外部环境之外，更重要的是各证券公司注意业务系统平台的集中统一和技术与业务的有机融合，做好数据仓库应用的准备，勇敢面对加入WTO所带来的挑战。

㈨ 为什么说数据仓库的开发是一个不断循环，逐步提升的开发过程

这位朋友： 一、目前，能使用数据仓库的行业比较多，但是重点的可以归纳一下几个：电信，电力，银行，证券，金融，保险，政府，税务，制造，酒店餐饮，零售，物流，医疗，其他。就目前的现状而言，电信，银行，证券，金融，保险，这几个行业的信息化比较早，所以基本上有自己的DW或者BI了，电力，政府，税务，制造，酒店餐饮，零售，物流，医疗这些都属于刚刚起步的行业，或者说ERP等已经有很好的使用和数据积累，但是BIDW还在刚发展中，我个人觉得就市场而言，电力属于垄断比较强的，就算要做BIDW也是业内的几家公司做。政府，税务这样的企业，安装销售的话来说，水太深，莫不到底。而我觉得比较好开发的市场应该是制造，零售，而餐饮酒店和医疗等，比较分散，数据难集中。 二、数据库可以分为三个层次，第一是基础的构架，其次是报表和统计，最后的境界就是分析和挖掘，目前我认为，大部分都是处于报表的展现和数据的统计上，当然也有分析和挖掘的项目，但是这些项目都是一些很简单的分析挖掘，还没有达到较高的水准，分析和挖掘其实需要的是懂业务的和懂技术算法的人来操作，而不是简单的看看报表就可以完事的。比如我们经常会注意一个指标比同期下降了，但是如果要用数据化的东西来说明为什么下降了，你可以做到吗？怎么样去找一些对于这些指标的关键元素，怎么样去找这些指标的关系元素，等等之类的，都还是需要我们好好的琢磨，不是简简单单的用几个维度来表示就可以了，有的时候关键元素，甚至和这些指标没有直接的元素，但是确确实实存在。 三、伟大的建筑来自一砖一石的堆砌；丰富的经验源于一点一滴数据的积累。所以说数据仓库的开发是一个不断循环，逐步提升的开发过程。 上述观点是否满意，仅供参考。