谈到资料探勘竞赛，就不得不谈谈“资料品质”的话题。庄铁鸿认为准备资料最重要的环节就在于这些资料到底能不能与问题的逻辑相符，然后再将其清干净并去识别化。
无论发起方规模大小，只要有好题目、好资料与好解法，资料探勘竞赛不仅是工程师与骇客们彼此切戳的绝佳场景，也一直都是充满活力，十分受用的创新途径。但对一间企业而言，资料探勘竞赛到底怎么深化到组织内部，成为更深层也更有趣的创新动能呢？单单今年就一连举办四次，把“办比赛”当作新创公司在经营的 KKTV、KKStream 或许就是好例子。
我们这次专访到资深技术总监官顺晖、资料科学家罗经凯、工程师庄铁鸿与专案副理徐小涵，来谈谈 KKTV 怎借由缜密的专案执行，让资料竞赛不只发挥了开发功能，甚至还进一步成为提升团队全体技术水准的最佳媒介。
办比赛就是在办新创
“团队虽然小，但我们完全把整回事（资料探勘竞赛）当作在营运一间公司。”官顺晖在访谈刚开始，就把成员列举成新创公司的各主管一一介绍：他自己负责目标设定、资源调配与对外沟通，显然是 CEO 的角色；怎么筹划整件事进行则是资料科学家罗经凯博士的工作，是 COO。
办比赛有很多细节，像资料怎么整理？比赛题目怎么订？要设定什么环境？那就是由精通机器学习的 CTO 庄铁鸿跟罗经凯一起讨论了。最后 KKTV 那么大，那该怎么使资料竞赛都能让每位同事都能一起参与进来？所以就有了负责“行销”的 CMO 徐小涵。
你或许看到这里就会想问了：不过是办个资料探勘竞赛，有必要这么煞有其事，这么花功夫吗？官顺晖倒反过来说明：“单单只用举办一场‘活动’，就让（包括非技术职）同事们资料怎么使用，甚至让大家积极参与，这件事没那么容易。”从此不难窥见：像 KKTV 乃至 KKBOX 集团这种大型组织，若要真有效集合全体能量，就算是这种“有趣”的活动，缜密规划仍不可少。
不只获得开发成果，同仁技术水平也有显著提升
那 KKTV 究竟是为了什么举办资料探勘竞赛呢？罗经凯说明原因分一远程，一近端。放远来看，KKTV 与 KKStream 毕竟是网络科技公司，同仁们也都知道“资料分析”是最重要也是最热门的技术趋势，但该怎么落实到每位同仁手上？举办比赛就成了最有趣的路径之一，而另一个近端原因就是 KKTV 想快速开发精准有效的推荐系统。
▲KKTV 资料科学家罗经凯博士之前在 KKBOX 就有丰富的资料分析经验因此他们在第一次、第二次竞赛在 Kaggle 上释出去识别化，连续三个月的使用者观影资讯，其中包括观看的时间点、时长，以及使用者所在的地区、国家，以及他们看的剧名、剧种；题目就是“推坑好剧，由你决定”，要从七百多部剧中，去猜七万名使用者每个人下个月所看的剧。有点意外的是，第一次对内比赛居然是由懂机器学习，用 Random Forests 的在学生获得冠军，击败了众多工程师。
庄铁鸿补充第一次比赛有一队由三位不会写程式的 PM 所组成，居然用 EXCEL 也拿下了不错成绩！只可惜 EXCEL 算力终究有限，但这无疑为官顺晖、罗经凯、庄铁鸿等人感到窝心，让他们觉得在公司举办资料竞赛的方向确实可行。历经了两次竞赛，KKTV 后来真依照其结果在七月实装了颇为有效的推荐系统。
第三、第四次则是加入了“时间点”要素，一口气释出了上千万笔去识别化的使用者资料，其中不只有从注册至今的观影行为，就连是用哪只手机、桌机还是平板，甚至是用 Wi-Fi 还是 4G 都含括在内，请参赛者根据过去行为，推算使用者在未来一周内的看剧时段；往后运用在 KKTV 上，就是做出精准有效率的推播系统。在第四次最终公开赛，前三名 Leader board 成绩几乎达到了 0.893（也就是命中率 89.3%）之水准。
▲KKTV 后来真依资料竞赛结果，七月实装了颇为有效的推荐系统机器学习如何在探勘竞赛中发威？举办方又该怎么整理资料？
庄铁鸿分享了一个小插曲：在第三次比赛中，KKTV 内部有个团队坚持用各种先期假设的演算法挑战机器学习，但后来果然成绩不敌机器学习的团队，比赛后一转态度，认真研究机器学习去了。“经过这次我们更深刻理解：现在很多事情已经无法靠 Domain Knowledge 解决，大家必须积极拥抱机器学习的时候到了。”像第一、第三名采用了 Gradient Boosting，第二名也就是庄铁鸿自己则是用 CNN 卷积神经网络。
而第四次公开赛甚至吸引了来自趋势、富士康、微软等知名 IT 公司的高手参加，甚至有位大学教授在 Kaggle 只用十次解答，在最后一刻获得了第三名。
谈到资料探勘竞赛，就不得不谈谈“资料品质”的话题。庄铁鸿认为准备资料最重要的环节就在于这些资料到底能不能与问题的逻辑相符，然后再将其清干净并去识别化。官顺晖补充 2007 年 Netflix 也办过一次资料比赛，但去识别化后的资料竟然被参赛者反推成功，从此成为举办竞赛的一次反例。所以提供给参赛者的资料不仅理所当然得把敏感个资去掉，就连使用者与影片的 ID 都要以乱数重新遮盖，观看时间也是整段平移了。
那明年 KKTV 还要继续办吗？官顺晖与罗经凯回答：当然要啰！事实上他们很享受跟资料高手过招、交流的过程，徐小涵也表示明年想扩大事后交流规模，成为资料圈中类似于创业小聚的常态性活动。“题目方面我们也不缺啦，资料能做的事太多了”罗经凯笑称，接下来想凑合学界与业界做成 Workshop 的形式，让台湾资料科学的大家都能正向成长。
