数据分析与挖掘在金融方面的应用

数据分析与挖掘在金融方面的应用

数据挖掘在操作风险的量化和管理中的应用

根据《新巴塞尔资本协议》（2003）给出的定义，“操作风险是指由于不正确的内部操作流程、人员、系统或外部事件所导致的直接或间接损失的风险。”这一定义侧重于从操作风险的成因包括法律方面的风险，但将策略风险和声誉风险排除在外。随着世界经济和银行业的发展，多种可供分析的操作风险管理方法正在逐渐的形成，商业银行多年来一直试图对它进行一定程度的控制，定性并尝试测量这一风险，作为非金融机构的财务公司也不例外。在量化模型技术的推动下，操作风险量化测评和管理的技术获得了相当大的发展。操作风险管理能通过减少风险、改善服务质量和降低经营成本，从而形成一种竞争优势并在股东价值中得到相应体现。本文拟从数据分析与挖掘角度入手，对财务公司操作风险的量化测评和管理进行初步探讨和简要分析。

一、解决问题的整体思路

财务公司要实现科学且合理的对操作风险进行量化测评与管理，一般要进行以下几个步骤的工作：数据挖掘→数据分析→模型构建→模型检验。其具体思路如下图所示：

图1：操作风险量化测评和管理的整体思路

流程管理。财务公司通过制作特定格式的风险指标监控报告（日报/月报）来实现对上述信息的物理存储或非物理存储，以便查询或日后进行回溯检验。

在完成对操作风险指标的纵向和横向定义之后，财务公司便着手开展数据分析工作，一方面，财务公司通过查阅2007-2012年的历史操作记录完成对历史数据的补充和积累，另一方面借助信息化手段，将现有业务流程植入信息系统，实现对当前业务的实时监控和数据积累。在数据积累到特定数量等级后，财务公司开展数据分析工作并能依此进行模型构建。

（二）数据分析 1. 非参数法

目前风险管理领域中所常用到方法时运用概率论与数理统计研究的理论，对随机不确定性现象进行收集、整理和分析，着重考察随机不确定性现象的历史统计规律，然后利用特定的数据分布形态（概率密度函数）对该历史统计规律进行拟合，从而构造出具有预测作用的特定数据分布形态，然后利用该分布形态所对应的概率密度函数去考察具体随机现象的发生概率，但在实际工作中，由于种种原因，历史数据往往难以获取，或者历史数据的分布形态很难用已知的分布形态去拟合。在这种情况下，非参数法就体现出其独有的优势。

拔靴法作为非参数法中一种最具代表性的方法，目前已在金融研究领域被广泛运用。其核心思想即利用有限的样本资料经由多次重复抽样，重新建立起足以代表母体样本分配之新样本。它的优点在于无

需对分布特性做严格的假定就能进行推断分析,因为其假设样本数据分布就是真实数据的分布。

结合上一阶段的数据挖掘工作，在实际工作中，对于样本数据有限，且分布规律难以用现有的数据分布形态进行拟合的操作风险指标，尝试利用非参数法对其进行分析，预测其在给定置信度下的变动范围，从而达到对该操作风险指标精确、量化管理的目的。

2. 参数法

根据巴塞尔协议的核心指导思想，其度量操作风险的一种主要的方法是以历史事件重复出现为假设前提，以历史数据统计规律为基础，以较大样本数据为分析对象，以特定分布形态为指导，以假设检验为辅助手段，对特定风险事件的概率分布进行确定并进行拟合，从而实现对风险事件的预测。

依此指导思想为依据，以第一步工作中积累的历史数据为基础，财务公司对其存续期限内频率指标和损失指标进行分析。利用现有的多种统计软件，财务公司可先对频率指标进行统计特征分析，确定历史数据的相关特征值，并利用特定检验方法确定其数据分布形态。一般情况下，财务公司可对历史数据的均值、方差和标差进行测算，并利用Chi-Squared（2） Test进行匹配度检验来精确测定分布形态。在确定历史数据分布形态后，财务公司便可尝试用计算机技术对该频率指标进行模拟，以便预测其在特定置信度下发生的可能性。目前金融机构所常用的频率指标概率分布形态为泊松分布、帕斯卡分布和二项分布。具体公式如下所示：

PXxxx!e,x0,1,2,... (泊松分布概率函数)

kr1rk (帕斯卡分布概率函数) f(k;r,p)fp1pr1nknkPXkp1pk0,1,...,n (二项分布概率函数)

k利用特定编程语言，财务公司将蒙特卡洛模拟技巧与上述概率密度函数相结合，并运用在险价值（Value at Risk）的原理对未来特定时间区间内的频率指标进行有效估计和预测（巴塞尔协议要求金融机构对其操作风险预期损失的预测原则为1年内99.9%置信度下的风险敞口）。

在完成对频率指标的预测后，财务公司还需要对损失指标进行预测。具体分析思路和构建模型的方法与上述方法一致，但略有不同的是，在对损失指标进行预测时所选用的概率分布形态要更为复杂，目前金融机构所常用的损失指标概率分布形态为指数分布、韦伯分布、伽马分布和对数正态分布。具体公式如下所示：

exx0f(x) (指数分布概率密度函数)

0x0 fxcx1ecx,x0（韦伯分布密度函数公式）

x1ex/x0f(x)x00fx;,1x2e (伽马分布概率密度函数)

2Inx/22（对数正态分布密度函数公式）

上述四种分布形态均为轻尾分布形态（Light-tailed Distribution），而在实际的操作中，业内的普遍看法是重尾分布形

态（Heavy-tailed Distribution）能更好的对损失指标进行拟合，即用重尾分布形态能实现对损失指标进行根伟精确的预测，目前金融机构较为常用的几种重尾分布形态为对数伽马分布、帕累托分布、广义帕累托分布、Burr分布和Loglogistic分布等。

同样，财务公司利用特定编程语言在信息系统中实现对损失指标模拟的自动化运算，同时财务公司将蒙特卡洛模拟技巧与上述概率密度函数相结合，并运用在险价值（Value at Risk）的原理对未来特定时间区间内的损失指标进行有效估计和预测。

鉴于损失指标在金融机构整体操作风险中的重要地位，越来越多的金融机构在对损失指标预测时将会将损失指标分布形态的主体和尾部分开进行预测，对于主体部分预测仍采用上述特定概率分布形态进行模拟，而对于尾部的预测则采用更为复杂的极端价值理论进行分析测算，此种预测方法能大幅度提升对损失指标的预测精度，但也使预测方法本身更加复杂。

（三）模型构建

在完成数据分析之后，财务公司尝试将上述数据挖掘工作和数据分析工作嵌入现有业务操作系统，实现数据挖掘、数据积累、数据分析的自动化处理。同时，利用信息化手段金融机构亦在现有业务操作系统中将上述分析及预测过程实现自动化运算，并将预测模型生成的预测结果固化为特定格式显示在现有的业务系统中，由此便可搭建起一套完整的操作风险量化测评和管理模型，从而实现操作风险量化测评和管理的标准化、流程化和信息化。

（四）模型检验

在模型构建完毕之后，财务公司必须对其进行准确性进行检验。将2013年的历史数据带入已构建模型，测算在过去一年内频率指标和损失指标的发生情况，并将其与真实历史操作风险发生情况进行对比，从而实现对模型整体精确性的检测。

三、数据挖掘的效果与结论分析

利用数据挖掘技术进行操作风险量化研究的同时，提出了一种风险预警与分析、智能分析与决策的应用模型。通过以上部分的研究与检验，发现模型整体精确性在可以接受的置信度以内，使得数据挖掘技术在操作风险的量化和管理中的得以应用，为操作风险的管理优化提供决策依据。

计量方法的最终的目的就是使操作风险变得可测，从而有利于对其进行精细化的管理。 但从另一方面来说，商业银行对操作风险的管理并不能全部依赖于量化模型，毕竟操作风险的变幻十分难以捉摸；而且模型大都是根据历史上已发生的事件及其导致损失的数据估算得出的，无法主动的对未来的风险进行控制管理。财务公司要根据所面临的风险的不同情形给操作风险以灵活的综合管理，以最优的管理水平将操作风险发生的几率降到最低，以最为合适的资本准备将操作风险所引致的损失减为最少。

四、进一步的改进与探索

巴塞尔委员会在总结国际金融经验的基础上将商业银行对操作风险的管理工作归纳为四个部分，通过数据挖掘与分析发现，对财务公司同样适用：

1. 完善风险管理环境

首先应当完善当前的风险管理环境，要求董事会了解操作风险的主要方面，并对的操作风险战略进行定期审查。操作风险战略应当能够反映风险容忍程度及其对各种风险种类特征的理解。同时组织内部的信息流程在建立和维持一个有效的操作风险管理框架方面能够发挥重要的作用。

2. 风险管理：识别、衡量、监督和控制

下一步应当建立识别、衡量、监督与控制操作风险的管理系统，不断寻找衡量操作风险的有效方法和持续对操作风险敞口和重大损失事件进行监督。

3. 积极谨慎应对监管机构

在这些措施的基础上，监管者对经营中与操作风险相关的战略、政策、程序和方法直接或间接地进行定期的独立评价，财务公司要积极应对，保证具备一个有效的报告机制以便监管机构及时了解在相关方面的新进展。

4. 及时准确进行信息披露

信息披露在操作风险管理和监督过程中也应当发挥重要作用。财务公司作为非银行金融机构的同时也是上市公司，应当及时准确向公众进行充分的信息披露，使市场参与者可以对的操作风险敞口和操作

风险管理质量进行比较评估。

综上所述，操作风险量化测评和管理是财务公司操作风险管理领域由定性分析向定量分析转变而迈出的重要一步，其成功的运用将能使财务公司的操作风险管理更加高效和精确，同时，在利率市场化的大背景下，操作风险量化测评和管理也能充分赋予财务公司对于各类产品利率定价的灵活性，从而使产品更具竞争优势。鉴于国内财务公司的业务特点，上述模型要想在财务公司投入实际运用仍存在一定的难度，但财务公司尝试由数据挖掘和数据分析入手，逐步开展操作风险量化测评和管理的工作，从而创造出能较好适应财务公司实际业务运营要求的操作风险度量工具。