Oxylabs 研究显示，各大金融机构在使用替代数据
数据收集技术的发展催生了一种新型的信息, 称为替代数据 (alternative data), 以用于丰富传统金融。本文探讨了 Oxylabs 和 Censuswide 调查, 该调查显示了替代数据在英国金融部门的效用和采用程度。
投资经理一度完全依赖于盈利和市场报告等传统数据来做出决策。但是, 随着阿尔法策略的探索变得日益困难, 来自社交媒体、公共网站和应用程序的新数据来源 (统称为替代数据) 开始出现, 为公司创造了新的增长机会。
替代数据的使用呈指数级增长, 迄今已经对市场行为带来不可逆的重大改变。因而大家开始担心其风险, 尤其是针对存在缺陷的数据建模和错误的市场信号。
为了解决该问题,Oxylabs 与 Censuswide 合作, 调查了领先的英国金融服务公司中的 252 位高级数据决策者, 并发布了白皮书。本文将探讨这些发现结果, 并概括介绍替代数据在金融部门的风险、优势和总体作用。
替代数据详解
顾名思义, 替代数据就是相对于传统数据而言的"替代品", 传统数据包括定期发布的经济报告、投资新闻、新闻稿和公司年报等。来源包括移动应用程序下载和使用信息、社交媒体情绪数据、网站流量信息和搜索数据。
这场运动发端于对冲基金投资者, 并迅速扩散开, 席卷私募股权投资者, 接着是成长型和价值导向型的基金经理。替代数据的使用对于集体智慧投资尤其至关重要, 采用这种投资方法的交易者会预测群体的行为, 并相应采取交易活动。
目前, 替代数据在各种规模的投资公司都得到运用, 甚至应用于日内交易者和散户投资者。关键的一点在于知道在何处查找这些数据, 如何提取, 如何分析以得出重要的市场洞察。
替代数据提供了哪些洞察?
替代数据提供了在政府市场报告、公司财务报表或媒体等传统来源中不一定能找到的专业洞察。这些可以包括:
● 政府合同活动
● 产品召回
● 来自 Twitter 和 Reddit 等网络的社交媒体情绪
● 首席执行官报酬
● 面向特定国家 / 地区和州 / 省的工作签证
● 飞往特定地点的公务航班
● 政客交易趋势
● Wikipedia 等信息丰富的网站上的页面浏览量
● 信用调查机构数据
并非所有替代数据都是等同的。在一些情况下, 例如政客交易活动或政府合同, 替代数据是从经济活动剥离并用于投机目的。在另一些情况下, 例如产品召回或关于公司的社交媒体情绪, 替代数据可能超越传统经济报告, 提供针对企业运营状况的重大洞察。
替代数据的使用方式
随着应用程序和公共网站上提供的数据数量和类型不断增长, 替代数据的用例也在增加。随着越来越多的人员和公司上网并分享其数据, 这些信息的来源也持续不断出现, 从而产生重要的洞察, 包括:
通胀跟踪
网络抓取 (详情见下文) 等数据提取技术可用于跟踪网店中数百万计的产品的价格, 以测量价格冲击对通胀的影响。
特定行业的业绩
将信用报告机构的数据与应用程序业绩统计数据结合在一起, 可用于分析特定公司或行业的业绩。
股价预测
可以从公共论坛 (例如 Reddit 上臭名昭著的 WallStreetBets 小组) 抓取数据来预测股价走势。该类别的其他用例包括就盈利公告以及可能导致股价变动的更多公司信息所提取的数据。
房地产价值
通过下载的应用程序提取的位置数据可用于估算特定区域的人流量, 从而确定房地产价值的可能变化。
商品价格
卫星已被用于聚焦游轮, 以估算其储油罐液位。这些估算值接着用于预测后续对石油生产商和相关商品价格的影响。
公司总体运营状况
通过问询信用调查机构所生成的供应商付款历史记录, 可以揭示针对公司总体运营状况的洞察。
替代数据的指数级增长
替代数据在近年来经历了爆炸式增长。据 Grandview Research 称, 替代数据市场在 2019 年的估值为 10.6 亿美元, 预计从 2020 年到 2027 年将以 40.1% 的复合年均增长率 (CAGR) 增长。
Oxylabs 调查结果证实了替代数据的高增长, 尤其是在英国。我们发现, 金融部门在过去一年的数据问询相较于之前年份增加了近三倍, 并且对数据的总开支在过去五年增加了六倍以上。其他重要洞察包括:
● 60% 的受访者将替代数据来源用于改进决策
● 26% 的受访者注意到自己的数据有显著增长
● 38% 的受访者增加了数据部门预算
● 36% 的受访者将法律纠纷的高风险列为关于数据提取的主要问题
Oxylabs 研究表明, 整个行业都在急于采用替代数据。我们还发现, 金融公司正在以各种方式满足其数据需要, 具体视其资源和要求而定, 并且该过程随着替代数据使用的增长而不断发展。
企业如何获取替代数据
根据公司的规模、经营范围和预算, 数据可以通过多种方法来收集, 包括:
公共网站数据提取 (网络抓取)
网络抓取是从公共网站提取数据的过程, 它使用脚本 (也称为"机器人") 访问网页并收集公开可用的数据。公司通常在内部或通过第三方开展网络抓取。Oxylabs 研究发现,40% 的受访者使用了网络抓取,36% 外包了其需求, 而 36% 通过内部团队抓取数据。一些公司采用混合策略, 有 27% 选择组合使用两种做法。
内部抓取通常受大型公司青睐, 这些公司雇佣自己的开发人员、系统管理员、数据分析师和数据专家。虽然内部抓取的使用需要大量的资本开支和维护预算, 但其优势也很显著, 例如更高的灵活性和定制程度。
外包网络抓取是一种经济高效的选择, 让公司能够通过使用可定制的网络抓取工具来收集数据。许多中小规模的企业选择外包网络抓取, 因为这样做的成本更低, 管理负担更轻, 公司能够将资源专注于获得洞察而不是提取过程本身。
与第三方数据库的集成
大约 60% 的金融公司将其运营与数据提供商集成, 以一步购买和使用数据, 而不是人工收集、解析和清理数据。虽然这种方法相较于网络抓取的成本相对较高, 但其主要优势在于, 让公司能够完全专注于获取洞察。
人工数据收集和清理
大约 51% 的公司通过电子表格或其他数据处理应用程序人工收集和处理数据。对于所有数据需求来说, 使用人工处理本身是相对低效的, 很可能会作为其他提取方法的补充。
替代数据的劣势
与已建立的数据源相比, 估算使用替代数据时的风险和回报情况可能更具挑战性。对于传统的信息来源, 通常可以在经济和输出之间建立清晰的关系。例如, 如果给定月份的销售数据上升, 这可能表明消费者信心和经济出现增长。在这种情况下, 关系是清晰的, 而对于许多类型的替代数据, 则只能依据猜测得出洞察。
与替代数据相关的其他风险涉及隐私担忧以及数据建模问题等, 并可能包括:
● 因不使用替代数据而导致的竞争优势丧失
● 出处风险 -- 这种风险涉及违反数据提取所针对的网站上的服务条款
● 由于在数据集内包含个人身份信息而侵犯隐私
● 可能表现为不准确的交易信号的准确性风险
● 由于提取和分析中发生延迟而错失机会的风险
● 未正确整合到模型中的数据
● 不恰当关联到交易过程的模型输出
● 由于员工流动性过高而导致的智力资本流失
虽然使用替代数据可能带来重大风险, 但该行业也在进行创新, 通过各种方法缓解这些风险。首先, 应当广为人知的是, 提取数据可能会很复杂。收集、实施和获得洞察是高度复杂的操作, 需要结合技术与人力资源。因此, 标准的人才队伍通常需要有 IT 专家、数据科学家、安全分析师和投资组合经理。还有一点很重要, 就是使用集成式分析平台获得洞察, 以与传统金融数据相结合, 从而产生差异化的市场洞察。
由于替代数据高度专业化, 公司必须能够识别正确的数据类型, 并实施严格的检验程序来确保效力。需要流动的数据体系结构来管理不同的替代数据类型, 并且系统应当能够通过应用程序编程接口 (API) 处理多个实时数据更新服务, 同时利用可扩展的处理能力, 以适应随着时间逐渐增加的需求。此外, 还需要数据现代化、管理和工业化, 使数据进入对算法有用的状态, 而这些都需要高度专业化的知识。
准备好进一步了解替代数据了吗?
替代数据似乎已得到了广泛运用, 投资市场也因此产生了不可逆转的改变。虽然使用替代数据有许多优势和挑战, 但其使用已经无法回避, 因为如今各公司必须使用替代数据才能保持竞争力。
Oxylabs 研究证实了, 外包数据采集的公司中大约有 35% 很难找到可靠的合作伙伴和工具。
作者：Julius Cerniauskas,Oxylabs.io 首席执行官
