ToB企服应用市场:ToB评测及商务社交产业平台

标题: 《陈天奇：机器学习科研的十年》阅读条记 [打印本页]

作者: 尚未崩坏 时间: 2024-8-28 05:07
标题: 《陈天奇：机器学习科研的十年》阅读条记
0、作者先容

陈天奇是机器学习领域著名的青年华人学者之一，本科毕业于上海交通大学ACM班，博士毕业于华盛顿大学计算机系，研究方向为大规模机器学习。2019年，陈天奇在Twitter上公布自己将于2020年秋季到场CMU任助理教授，成为到场CMU的年轻华人学者之一。
在本文中，陈天奇回首了自己做机器学习科研的十年。

1、原文

十年前，MSRA的炎天，刚开始尝试机器学习研究的我面对科研巨大的不确定性，感到最多的是困惑和迷茫。十年之后，即将跨出下一步的时候，未来依然是如此不确定，但是等待又更多了一些。这其中的变化也带着这十年履历的影子。
起始：科研是什么

我从大三开始进入交大APEX实验室，有幸随着戴文渊学长做机器学习，当时的我以为“机器学习”这个名字非常高大上然后选择了这个方向，但是做了一年之后依然摸不着头脑，心中非常向往可以做科研，独立写论文的生活，却总是不知道如何下手。文渊在我进实验室的一年后去了百度。当时还没有得到学长真传的我，开始了科研的第一阶段，从大四到硕士的第二年，期间不停自己摸索，不停地问自己“科研是什么”。
**和课程作业差异，学术研究没有详细的问题，详细的方法，详细的答案。**文渊的离开让我一下子不知道该怎么做，但是我的想法很简朴，快点寻找一个详细的方向，完成一篇论文。因为ACM班的时机暑假在MSRA的短暂实习，固然学会了很多东西，但并没有给我答案。MSRA返来后，在实验室薛老师的建议下，我选择了一个现在看来正确而又错误的方向——深度学习。**没有导师的引导，没有工具，当时我靠着实验室的两块显卡和自己写的CUDA代码开始了死磕深度学习的两年半。**实验室的学长问我，你预备要干啥，我说，“我要用卷积RBM去提拔ImageNet的分类效率。”这一个回答开启了图书馆和实验室的无数个日日夜夜，为了给实验室的老机器多带一块高功率的显卡，我们打开了一台机器的机箱，在外面多塞了一个外接电源。我的生活就持续在调参的循环中：可视化权重的图片，看上去那么有点像人脸，但是精度却总是提不上来，再来一遍。从一开始hack显卡代码的高兴，到一年之后的焦急，再到时不时在树下踱步想如何加旋转稳定的模子的尝试，在这个方向上，我耗费了本科四年级到硕士一年半的所偶然间，直到末了还是一无所获。现在看来，当时的我犯了一个非常显着的错误——常见的科学研究要么是问题驱动，好比“如何解决ImageNet分类问题”；要么是方法驱动，如“RBM可以用来干什么”。当时的我同时锁死了要解决的问题和用来解决问题的方案，成功的大概性自然不高。如果我在多看一看当时整个领域的各种思绪，好比Lecun在很早的时候就已经做end to end，或许了局会不那么一样吧。
当然没有如果，赌上了两年半的时间的我留下的只是何时能够发表论文的紧张心情。焦急的我开始筹划换一个方向，因为RBM当时有一个比较经典的文章应用在了推荐系统上，我开始打仗推荐系统和KDDCUP。**比较幸运的是，这一次我并没有把RBM作为唯一的一个方法，而是更加广泛地去看了推荐系统中的矩阵分解类的算法，并在实验室搭建了一个比较泛用的矩阵分解系统。推荐系统方向的耕耘逐渐有了劳绩，我们在两年KDDCUP11中获得了不错的成绩。**KDD12在北京，放弃了一个过年的时间，我完成了第一篇关于基于特征的分布式矩阵分解论文，并且非常高兴地投到了KDD。四月底的时候，我们收到了KDD的提前拒稿通知——论文连第一轮评审都没有过。收到拒稿通知时候的我的心情无比沮丧，因为这是第一篇自己大部分独立推动完成的文章。迁移转变在五月，KDDCUP12封榜，我们拿到了第一个track的冠军，我依然还记得拿到KDDCUP12冠军的那一个刹时，我在状态内里中二地打了excalibur，仿佛硕士期间的全部阴霾一扫而尽。那时候的我依然还不完全知道科研是什么，但是隐隐之中以为似乎可以继续试试。
第零年：可以做什么

我对于科研见解的第一个迁移转变，在于我硕士临近毕业的时候。李航老师来到我们实验室给了关于机器学习和信息检索的陈诉，并且和我们座谈。在陈诉的过程中，我非常高兴，甚至时不时地想要跳起来，因为发现我似乎已经知道如何可以解决这么多风趣问题的方法，但是之前却从来没有想过自己可以做这些问题。联系了李航老师之后，在同一年的炎天，我有幸到香港跟随李航和杨强老师实习。实验室的不少学长们曾经去香港和杨强老师工作，他们返来之后都仿佛开了光似的在科研上面突飞猛进。去香港之后，我开始明确其中的缘故原由——研究视野。经过几年的磨炼，那时候的我或许已经知道如何去解决一个已有的问题，但是却缺乏其他一些必要的技能——如何选择一个新奇的研究问题，如何在结果不尽人意的时候转变方向寻找新的突破点，如何知道整个领域的问题之间的关系等等。“你香港返来以后升级了嘛。”——来自某大侠的评论。这也许是对于我三个月香港实习的最好的概括吧。香港实习竣事的时候我劳绩了第一篇正式的一作会议论文（在当年的ICML）。因为KDDCUP的缘故，我熟悉了我现在的博士导师Carlos的postdoc Danny，Danny把我推荐给了Carlos（UW）和Alex（CMU）。我在申请的时候幸运地拿到了UW和CMU的offer。在CMU visit的时候我见到了传说中的大神学长李沐，他和我感叹，现在正是大数据大火的时候，但是等到我们毕业的时候，不知道期间会是如何，不外又反过来说总可以去做更重要的东西。现在想起这段对话依然唏嘘不已。我末了选择了UW开始

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)