AutoML在 IEEE-ISI World Cup 2019竞赛中的应用：冠军团队DeepBlueAI技术分享最新消息

细节分享。

AI 科技评论按：近日，IEEE ISI 2019 国际大资料分析竞赛结果出炉，今年的竞赛包括企业投资价值评估和法律诉讼型别预测两个赛题，来自深兰科技北京 AI 研发中心的 DeepBlueAI 团队分别取得了一项冠军和一项季军的优异成绩，本文作者罗志鹏（深兰科技北京 AI 研发中心），他为 AI 科技评论独家撰写了该团队在企业投资价值评估赛题中的算法思路与技术细节分享。

背景介绍

IEEE 年度国际会议是安全资讯学领域的旗舰会议，于 2003 年首次在美国亚利桑那州图森市召开。在过去的 16 年中，IEEE ISI 会议已经从传统的智慧和安全领域发展到多领域联合研究与创新。今年，第 17 届 IEEE ISI 会议在中国深圳于 7 月 1 日至 3 日由深圳人工智能与资料科学研究所主办。

为了促进人工智能分析行业的发展，并为学术交流和技术讨论提供一个平台，IEEE ISI 会议发起了此次国际大资料分析竞赛 (IEEE ISI 2019 年世界杯，IWC 2019)。本竞赛面向全球高校、研究机构、企业、-开放。共有来自中国、美国、巴基斯坦、伊拉克、英国、德国、挪威 7 个国家，来自华为、京东、滴滴等知名企业，以及来自清华大学、北京大学、浙江大学等知名高校的三百余支队伍参赛，参赛总人数逾千人。

团队成绩

在企业投资价值评估赛题中 DeepBlueAI 团队以较大领先优势获得冠军，排名如下：

图 1 最终排行榜

赛题介绍

本次比赛提供了基于 3500 家上市公司全量资讯，描述公司在财务、法务、股权、经营状况、舆论等方面的属性特征，包含企业的工商资讯、年报、财务资讯、纳税资讯、股权资讯、法务资讯、知识产权资讯、经营资讯、购地资讯等资料（以实际释出的资料集为准）。这些资料来自于官方统计平台，资料真实可信。每一家企业对应一个类目 ID。参赛选手需要合理运用现有资料集材料，筛选出对竞赛有价值的资讯进行特征构建和模型训练。

本次会议共有两个赛题：

赛题 1 企业投资价值评估

参赛者可参照企业的年报、财务资讯、经营资讯、资产资讯、税务资讯，知识产权等企业综合资讯对企业投资情况进行打分，为投资者提供投资依据。

赛题 2 法律诉讼型别预测

参赛者可根据企业的法院公告、裁判文书、动产抵押、司法冻结、行政处罚、欠税资讯、开庭公告等法务资讯预测企业未来一段时间可能收到的法律诉讼型别，为企业规避法律风险。

本文接下来分享赛题 1 的思路与技术细节。

评测指标

使用均方根误差 RMSE 作为本次竞赛的主要效能指标。返回结果越小代表模型效能越好。比赛成绩以参赛团队提交的测试集结果为准，此部分占总成绩 90%。同时会根据程式码的鲁棒性、可扩充套件性、可读性为算法模型打分，此部分占总成绩 10%。比赛最终排名取决于以上两部分成绩总和。

题目特点以及主要工作

在这次比赛中，主要有以下难点：

资料维度广

该赛题主办方提供 37 张 xlsx 格式的资料表格，一共包括 304 列。

资讯复杂

包括公司产品资讯、工商基本资讯、购地资讯、海关进出口资讯、年报资讯、融资资讯、商标资讯、上市财务资讯、专利资讯、招标资讯等。

资料特征型别丰富

包括字串、数值型、类目型、时间等。

资料量小

训练集仅有 3000 条。

对于这样大量的字段，如果直接采用人工去做特征，一方面工作量巨大，另外一方面很多特征也难以想到。故团队成员基于以上难点，采用了自研的 AutoML 系统进行建模，该系统包括了自动资料清洗、自动特征工程、自动特征选择、自动模型调参、自动模型融合等步骤，能极大的提高任务建模的效率，并且在此次竞赛中也大大提升了效果。

自动化资料清洗

在通常的竞赛中，我们的资料往往是比较干净的，要么采集比较规范，要么已经经过加工处理。这次竞赛提供的资料是真实的工业界应用资料，含有大量的不规范字段。比如时间列，就存在各种各样的格式，比如存在年份缩写、中文年月日、标记格式不统一（有时用“”，有时用“-”来分隔）等情况。

图 2 原始资料展示

考虑这些资料情况，可能是由于资料录入的时候，不同年代采用不同的格式，并且资料保留了原来的格式，从而造成了大量资料不规范的问题。另外资料中存在着大量的噪声。而我们的自动化资料清洗模组，对不同型别的资料使用不同的清洗方法，能够有效地清洗不规范资料。

特征工程

我们的特征工程部分包含两个阶段：AutoML 自动特征工程阶段和业务特征强化阶段。

在 AutoML 自动特征工程阶段，将原始资料清洗成 AutoML 系统可处理的格式后，进行自动特征生成，然后进行特征选择迭代。在特征选择阶段我们采用 lightGBM 单模型。在自动特征工程中，我们假设通用场景型别，选择和本次任务契合的场景型别进行自动特征工程，在每一轮特征迭代过程中我们参考了上一轮特征的重要性，在重要性高的特征上面进行迭代更新。筛选出的特征中比较重要的有：行业细类特征、资历、年报等。具体地，原始特征包含了数值型别，分类型别，时间型别以及文字型别。我们对数值型别和类目特征生成了基本统计特征，以及数值和分类的聚合特征。对时间型别，提取了周期性特征。对文字特征，采用 TF-IDF、LDA 方法提取特征。同时我们也提取重要特征进行高阶组合，从而避免了指数级的特征组合，并且能挖掘三阶甚至四阶不同型别的特征组合，有效地提升模型效能。

图 3 AutoML 自动特征工程

在自动特征阶段生成的全部特征累计有 7000 多列，自动特征选择采用递减的方式，在业务特征强化阶段，我们通过深入思考业务的逻辑，结合已有特征的重要性，挖掘出业务中我们认为应该考虑进去的资讯，然后构造出能反应这些资讯的特征。

在自动特征工程阶段，我们发现专利和资质认证两个资讯对模型效果提升较大。这很符合我们的直觉，在对企业价值评分时，专利的数量、种类等资讯无疑是非常重要的。

首先是针对专利资讯，我们挖掘了公司的专利在时间线上的活跃度，公司在该专利领域的实力。我们猜测在长期专利数量较多或者存在上升趋势的企业投资价值评分应该更高。根据实际专利的申请稽核流程，提交申请到出稽核结果的时间长度，我们提取了企业在最近 1、3、6、12、24 个月的专利数量以及专利数量较多的种类。其次我们挖掘了每个城市每个行业的企业竞争力，用城市中各个行业的公司数量以及他们之间的相对特征来表现。我们猜测公司地址在其行业密集度较高的城市具有更强的竞争意识和竞争氛围，成长性较高，可能会得到较高的投资价值评分。之后我们挖掘了公司的认证资格竞争力资讯，在行业内理论上应该是资历认证更完善的公司实力更强，风险更小，我们通过构造公司在资历全集中的完善度特征来反映这个资讯。

模型融合

图 4 模型整合

为了增强最终结果的稳定性，我们采用 Stacking+Bagging 的方式进行模型融合。融合的主体方法是 Stacking, 第一层我们采用过的模型有 LightGBM、XGBoost、Random Forest、Support Vector Regressor、ExtraTrees Regressor。每个模型采用交叉验证的方式进行线下验证。

图 5 模型结果

在 Stacking 的第二层中我们采用了基于约束的线性模型，在实验中发现效果好于其他线性和非线性模型。

在 Bagging 中我们使用不同 seed 以及随机微调了一些引数分别生成 10 个 LightGBM 和 10 个 XGBoost 模型。最后将 Stacking 的结果与 Bagging 结果进行简单线性加权融合作为最终预测结果。在这次竞赛中模型融合提升并不是很大，从榜单来看我们的单模型结果就能获得冠军，因此 AutoML 自动特征工程部分是我们制胜的关键。

图 6 模型融合