首届VALSE Student Seminar于2020年7月31日在VALSE 2020线上大会拉开帷幕，Student Seminar邀请了6名年轻的研究生：张士峰(中国科学院自动化研究所)、董胤蓬(清华大学)、刘宇(香港中文大学)、董宣毅(悉尼科技大学)、谢雨彤(西北工业大学)、代克楠(大连理工大学)分享他们的最新工作，包括CVPR 2020 最佳论文候选、ICLR 2020 满分论文等。Panel环节的主持人是山世光(中国科学院计算技术研究所)、陈云霁(中国科学院计算技术研究所)。本文是该次Panel讨论的文字实录。

陈云霁：非常荣幸能够参加这个Panel，听了一下几位同学的工作介绍，确实感觉到非常地敬佩，回想一下自己读博士期间，跟几位比起来，完全是不值一提的小白，所以确实感到非常地佩服，能不能请几位同学都介绍一下自己在读博士期间的心路历程，因为我想在座的各位同学和老师应该都非常感兴趣，几位是怎么做出这么好的研究来的？尤其是自己在做研究的时候，有一些什么样的方式，使咱们能够做出这么顶尖的技术来，能不请刘宇同学先开始？

刘宇：我说一下我的看法，我是从大二开始接触CV这个领域的，当时CV还没有像现在这么火，像现在这么卷。CV是大家很不看好的一个方向。当时看了一个美剧叫《疑犯追踪》里面有一个监控系统，能识别出来所有道路上所有人的轨迹，分析他们的心理，感觉非常酷，就进了这个方向，没想到做着做着就火了。我感觉整个的研究流程，从大二到现在也有七八年的时间了，一直支持我不断前进不断深入的唯一一个点就是好奇心。科研如果没有好奇心，我是做不了这么久的，每次做到一个节点之后，就会发现一些新的问题，就会发现之前理解的不够深入，就比较好奇，不断地支持我一直往下走。昨天会务组跟我说了这样一个问题，我想了非常多东西是不是可以说，但是想到最后，可能就会落到这三个字上就是“好奇心”，谢谢老师。

陈云霁：您讲的非常好，好奇心确实是非常重要。据我所知，那些科学大家也都因为做好奇心驱动的工作，才会有所成就的。非常感谢您的分享，下面想请代克楠也介绍一下你的心路历程和做研究的习惯。

代克楠：因为我才研二，我的时间没有像刚才的刘宇那么长，我是大三暑假开始接触的，到现在也就三年多一点的时间。当时因为大三暑假，刚开始是打一些基础，开始分方向，当时分到了目标跟踪。这个方向做了一段时间我感觉还是挺感兴趣的，后面一直在做。中间比如说第一年做的也不是很顺利，因为基本上刚开始做，也是基于学习者的一个态度做的。等到后面知识积累到一定程度的时候，比较可以来用一种不同的眼光来看他们的工作了，从一个学习者变成一个研究者，你对这个领域也有了稍微比较整体的认识，知道这个领域缺什么，什么东西可以做，就可以自己比较对地做出一些工作了。但是我觉得中间从学者到研究者一个过程，还是需要有比较多的兴趣来支持，我觉得兴趣是一个方面，毅力也是一个方面，这两点还挺重要的。

陈云霁：谢谢你的分享，我觉得你说的很有道理，我经常和我自己的研究生也说，你来计算所不是来读研究生的，而是来做研究的，我们中国过去说读博士读硕士，说的这个“读”字，给大家一个误导性，像是继续读书一样，实际上完全不是这样子。我觉得你分享的非常有启发性。下面想请女生也介绍一下，谢雨彤。

谢雨彤：好的，其实我的研究比较偏临床应用一点，所以一般做每个课题研究，先会去了解一下它的临床价值是什么，比如说做皮肤癌，我就会先了解一下做皮肤癌这件事到底是有什么意义。在这个疾病基础上，发掘一些比较有意义的任务。当你找到这个任务之后，可以去想办法解决这个任务。我们知道影像医学的数据很难获得的，所以你在要解决这个任务之前，一定要有相关的数据，因为在医学影像里面，收集数据也是比较费心费力的一件事。有了数据就要解决任务，解决任务的过程当中，我一般会先survey一下，该任务相应的方向比较先进的解决办法是什么？比如说今天讲的皮肤癌的风格和分类，先survey一下他们是怎么做的，会发现大部分的方法都是两个项目独立分开做的，我就会考虑合在一起做会有进一步的提升。如果会的话，前提一定是有互助的作用才会有提升，分割帮助分类是很好理解的，也是符合临床诊断的一些流程。那分类帮助分割我能不能找一些证据支撑呢？接下来就进一步再去survey一下这方面的工作，证明了分类帮助分割也是可行的，这样方案的合理性也就有了。后面是实现的一些问题，毕竟初始的方案一定是没有经过实验的检验的，所以在实现的过程中，肯定有很多不完善的地方，所以你在实验的时候，也会不断地调整这个方案，把这个东西达到最优，最后因为我们是偏临床的，条件允许的话，如果把模型在临床的数据上测一下，可能会更好的。这是我大概的一些心路历程。

陈云霁：谢谢您的分享，讲的非常详细，包括从怎么实现您的idea，包括怎么利用你的idea，都已经讲的非常全面了。下面我们想请董宣毅也分享一下你在这方面的思考。

董宣毅：好的，谢谢陈老师，我其实是在2016年开始接触这个学习的，在之前我在本科阶段一直是进行ACM编程，但是在15、16年因为我已经参加过很多次的竞赛，从赛制上再继续参加，所以我个人当时是想要找一个在技术上有挑战性任务去做，刚好接触到深度学习的CV就做这方面的研究。我个人在做深度学习方面的研究的时候，我经历过几个不同的心路历程的阶段。第一个阶段，是拿到一个SOTA方法，在其上进行一定的提升改进，有了改进以后就发一篇文章出来。第二个阶段是说自己能够快速地复现各种算法并能有效地改进。然后在这个阶段其实是想在每个会议上多发一些文章出来。到了后来变成能够自己提出一些新的算法，而不是在已有的算法上进行改进，同时觉得如果在每个会议上都发一些文章，只是蜻蜓点水性的工作的话，对整个community的意义不是非常大。所以后来就想能够去着重在一个方向上深究，比如说我做的auto DL这个方向，能在一个方向上深究，有一些深度的研究，能希望发表的每一篇文章，都对其他的同学或者是其他的researcher有帮助。

现在驱动我去做研究的一个动力其实是两点，第一点是research还是挺有挑战性的任务的，我对解决有挑战性的任务比较有动力。第二点，我从读别人的文章，看别人的代码中学习了很多，所以我个人也希望自己的research，自己的code，还有自己在get up上，钻研的项目能够帮助到很多的同学，study  up他们的research，同时也能够去启发别人的有一些新的想法。这就是我的动力，谢谢陈老师。

陈云霁：我觉得确实有道理，如果你能把我们的工作放到会议上分享出去，一方面确实可以帮助别人，其实也是对扩展我们影响力的最好手段。如果能拿你的代码改一改就能做新的工作，那我们的工作就会非常理想。

董宣毅：是的。

陈云霁：这个问题我们还想问一下张士峰，因为我看张士峰的population case是非常牛，我感觉很多可能已经工作的老师，都不一定能发这么顶级会议的论文，所以也特别想请你介绍一下自己的心路历程，包括你的研究习惯是怎么样做到有这么高的产出的。

张士峰：好的，谢谢陈老师提问，我也分享一下自己研究的心路历程。关于专业选择，我自己选做计算机视觉方向的原因是，当时有一个比我大几届的师兄，他告诉我未来有两个方向可能比较火，第一个是图像处理，第二个是医疗，听了他这句话，进行相关调研后，我就确定了做图像处理。所以从这件事情上，我觉得甭管是谁，多和一些有经验的人交流，他们看的更远，能给你一些比较好的指导或建议。

关于科研入门，我算是入门比较晚的，因为我本科的时候没有做过科研，本科毕业直博深造后，研究生一年级在上课，一年级下学期才确定研究方向为物体检测。确定研究方向后，那时候的我什么也不懂，Linux不会用，深度学习框架也不会用。同时也意识到自己和同届同学的差距，因为当时身边有很多同学，在研究生第一年就开始写论文发表论文了。意识到了自己的情况后，非常有压力，但是我也没乱了心态，一直在保持着自己的节奏，因为我觉得不管是搞研究，还是以后做事情，都不是看你走得多快，而是看你走得多远。所以我觉得大家不要太着急，一定要把自己的节奏把握好。博一下确定研究方向后，就开始自学各种东西。因为读研究生，导师是从大的方向上给予指导，大部分的事情得自己做，大部分东西得自己学。做科研涉及到很多个环节，比如说发现问题，解决问题，跑实验，写论文等，这些环节所需要的能力都要锻炼好。我是博二这一年把做研究涉及到的各个环节都认认真真走了一遍，养成了一套自己做研究的习惯。养成了之后，从博三才开始真正地进入到做研究的状态。

所以从我这一段心路历程来说，希望大家如果做研究或者做任何事情的时候，一定要把握住自己的节奏，把所需要的各方面能力锻炼到位。我也有接触了一些人，他们跟别人合作比较多，例如在做研究时，大家分工合作，他们只负责研究过程中的某一个环节。这么做的好处是出东西比较快，但是不好的地方是不能具备独立做研究的能力。希望大家能够保持自己的节奏，养成好的科研习惯，把所需要的各种能力都锻炼好，这个应该是受益终身的东西，谢谢大家！

陈云霁：刚才如果没有听张士峰讲这一番话，我可能不会有这么深的感触，我觉得他讲的非常有道理，就是说不要着急，把握好节奏，同时我还感觉到张士峰是一个厚积薄发的同学，把各种各样的东西都准备好了，最后就发表了好的论文，不知道我这个理解是不是和张士峰的本意是符合的。

张士峰：我这厚积薄发也是被逼的，因为确实当时没有特别好的机会。如果大家能够有机会不用厚积薄发，还是早点爆发的好。

山世光：陈老师夸他们说的挺好的，我觉得他们可能没说实话，因为我们以前看武侠小说，就是武林高手很多大多数的武林高手，可能都不知道怎么掉进悬崖，或者掉进某个山洞里面，获得了一本武林秘笈，就偷偷地练练就成了武林高手，所以我觉得可能前面几位同学都没有讲到这段故事，特别想听一下，接下来看他们能不能分享，在自己的科研中有没有一些秘笈，让自己能够做的这么的好，因为董胤蓬同学还没讲，我就先把这个机会给董胤蓬，分享一下他的秘笈是什么，有什么绝招，使得你能够做出来特别漂亮的工作。

董胤蓬：这个问题确实是很突然，我确实也没有考虑过之前有什么秘笈，因为我觉得从上本科开始，做研究工作，其实这个过程也不是一帆风顺的，还是会碰到很多的困难。因为我高中的时候是学数学的，大学的时候选了计算机，其实我对计算机的编程没有任何的基础。上了本科之后，身边的很多同学都是搞竞赛进来的，大家可能大一的时候就已经加入到了各个实验室里面，大二的时候就有很多同学开始发论文了，所以那个时候，确实是做一些事情。我对这些计算机科学相关的研究，自己也不太特别了解，就看身边的同学，了解到一些方向里面觉得机器学习和视觉相关的比较紧的一个方向，我就加入到了我们的实验室。

刚开始的时候，确实是很困难，听那些高年级的研究生和高年级的博士生做报告，完全是听不明白的，看那些机器学习入门的书，看TRM，也是没学概率论的情况下，其实是根本看不明白的。很长一段时间，都是在探索如何做这件事情，后面也是有一个我感觉比较好的机会，很早就意识到了我所研究的对抗鲁棒性的问题，就相对来说我们的课题组还是最早关注到这个问题的。老师会把这个课题发给我们，我就开始确定方向进行了研究。因为当时这个方向，大家做的都特别初步，所以刚开始做肯定会相比于一些发展成熟的任务更容易一些，也是在逐步做的过程中，包括参加了一些比赛，做一些实际的项目，在这些过程中，慢慢地学到了如何去做科研的过程。所以我感觉没有一个秘笈的，包括那个时候，我也会听很多的学长去讲如何做科研之类的，其实真的到自己身上的时候，还是要自己一步步地慢慢地感受。就像刚才张士峰学长讲的那样，只有自己走通了这条路，后面才会变得更顺利。

山世光：刚才大家在讲的时候，也有B站上的一些同学反映，说听不太懂，因为有一些低年级的同学，跟你之前在刚入门的时候也是类似的感觉。我想问这个问题核心是你们有没有一些新的办法，找到新的idea做一个工作，这个工作你就自己非常有信心，这个工作做完了以后，会有一个非常好的成果出来，董胤蓬你要补充一下吗？就这个问题。

董胤蓬：这个idea，当然我现在有一些经验了，一开始比较困难，我感觉找idea的话，大家可能碰到的是很多层次的问题，我觉得这种是选定研究方向，或者是研究问题，或者是更加厉害的，可能是大家去创造一种新的研究方向，这个对于刚入行的同学，或者是刚研究这个方向的同学也是比较困难的，因为大家对这整个领域没有一个很长时间的了解。所以如果大家想找，我感觉第一大家可以多看一些论文，自己的研究兴趣在哪里，有什么问题是自己非常想要去做的，可以去做。再一个就是大家可以和导师或者是学长多沟通，因为老师或者是高年级的学长，他们在这个方向做的时间比较长，会有很多想法自己没有时间做或者是怎么样，大家通过这种交流会找到一些新方向。其他的比如听一些报告，或者是看一些论文，了解一些研究问题去做。

我感觉这个自己主动去找的话，除非是自己想要创造一种新的研究方向，具体的研究方向其实是比较好找的。第二个，可能我们拿到一种具体的研究问题，我们是希望去提出一个新的算法或者是新的理论解决这个问题，我觉得这一步其实是完全要靠自己了，实际具体的，如果你要问老师什么的，老师也不一定能给到特别大的帮助，所以这个我觉得还是要做不断的尝试。因为现在大家可以看到一些经典的idea或者是一些算法，不是拍脑袋就能想出来的，而且是在过程中不断尝试做出来的，尤其是我感觉现在对于深度学习来说，有很多的问题或者是有一些实际的动手。

山世光：在做的过程中去发现问题，找到新的可能，要去找到新的方向，这个分析上非常好。看看其他的同学有没有谁想分享秘笈的？刘宇刚才好多同学在B站上说口罩的小伙是不是特别帅，刘宇有没有分享的。

刘宇：不好意思，我本来刚才摘了，有一个人又让我戴上。我觉得对于新idea的话，刚才同学们都讲的非常好了，对于我自己来说，我对于做CV和对于做idea，我认为要分三步走，对于一个科研的萌新说，产生idea的方式，可能要做广泛的涉猎，比如说先有宽度，如果你读过足够多paper的时候，你发现这两个东西结合到一起，会不会产生新东西。比如说你们现在经常会看到一些，比如说attention for什么什么，可能就是attention加上一个education，它就变成一篇paper了，这个可能对于一个初入科研的人来说，比较能快速地找到一些新的方向。

当你有这些paper了以后，更重要的就是深度了，所以你对一个问题的深度要足够深，一旦是你思考到了，别人没有想到的，但是一旦你把它写出来，别人就会恍然大悟，原来是这样。这样就会经常出现一些像thinking什么的这样一些paper，这样的paper大家读起来就会非常地solid非常地有意思。经过了第二个阶段以后我觉得第三个阶段就更难了，就是说你思考的足够广，思考的足够深了以后，可能下一步更重要的，你要能够挖新坑，其实就是保持足够的好奇心，你要能够找到一些生活当中或者说技术当中大家没有关注过的点，但是仔细思考了之后，发现这个东西可以做成一个蛮大的states。所以整个来说先要广后要深，最后要找到一些新的东西，我这讲的还挺宽泛的。

举一个例子，比如说我第一篇paper，当时在做一个人脸识别的工作，但是发现大家都是一个神经网络训练，我就在想能不能把attention跟人脸识别结合，就做了这样一个工作。同时我也往深度的方向走了一步，我想为什么attention能在人脸上work，这个work的机理是什么，我就从梯度的角度去把attention的原理重新推了一遍。从梯度的角度，给整个community给出了一种attention的形式，然后这个review的反馈也非常好，他们觉得这个非常深入，所以我觉得这是一个很好的例子。

山世光：非常好，总结的比较深，还要跳出来，这一点我觉得都非常棒。刚才我在B站上看到要请陈老师讲一讲，陈云霁老师被请来也不能那么轻松，能不能分享一下？

陈云霁：没想到我惹火上身了，我需要讲什么？

山世光：怎么找到新的idea，在这个问题上。

陈云霁：我想要最关键的事情被前面很多的同学已经讲了。如果从我自己看，首先跟各位同学比起来，我是一个反而不称职不合格的博士，进入到博士阶段，写了两篇中文期刊就毕业了。后面我自己培养的博士里面有不少做的非常好，有很多，不光说他能够有很多publication，确实有一些比较深的思考。在这里我觉得可能我跟前面的几位同学说的最像的地方，还是要有一个好奇心驱动这样的一个想法。如果说我是为了发表更多的论文，或者说学术界的论点的话，我们去做什么的话，当然这个确实可以发很多论文。但是我读博士的时候，我的老师胡老师跟我讲过，他说“骗别人很容易，骗自己很难”，就是你做一个工作的时候，你可以去说一说，我这个工作非常有意义，非常非常有价值。但是当夜深人静，你躺在床上的时候，你想一想，自己做的工作真的很有意义吗？除了它是一篇顶会之外，它还有更多的意义吗？想到这里就感觉自己做的东西非常地累。所以我也受到我的博士生导师讲，最后我也想，因为自己好奇心驱动做出来的工作，不管怎么样，不管它能不能发一个顶会，自己躺在床上想一想，都觉得自己做的事情还挺有价值有意义的，这个事情可能是比较重要的。这是我的一点想法。

山世光：陈老师特别谦虚，我们是一个所的，我知道他是谦虚出了名的。我们找个不谦虚的，开个玩笑。士峰发型特别的酷，刚才有人在说，我特别想知道你这个发型和你找新的idea之间有什么关系？是不是平时就是一个特别喜欢奇迹的人，喜欢异想天开，就能找到idea。

张士峰：我这发型主要是平时老是愁没有idea，就一直往上撸头发，把头发撸起来了。

山世光：哪位同学的头发不够长不够直，就说明没有想的够多。

张士峰：我这里简单讲一下，大家都讲的很好，我也觉得很受益。我自己觉得获取idea有几个途径：第一个途径大家刚刚也讲了，多找一些有经验的老师、师兄抱大腿，跟他们多交流，他们可能有一堆idea，但是没时间做，所以可以跟这些比较有经验的老师或者是学长多交流，他们可能就会给你分享一些idea。第二个，大家可以多跟一些工业界的人聊一聊，因为我们做学术是在一个封闭的数据集上，所以有很多问题都体现不出来。但是在做实际项目产品是，会有很多非常不一样的问题出现。这些问题是非常有价值的，你做出来以后工业界会很认可，你又能够在学术界发表论文。所以大家多跟工业界的人聊一聊，比如说刘宇，他在工业界里很有经验，大家跟他聊一聊，他的idea可能比较靠谱，比较有价值。虽然工业界的问题在学术界的数据集里面，不太容易体现出来，但是你可以想办法让它体现出来，或者你自己构建一个数据集。最后一个就是刚刚讲的，自己产生新的idea，这个可能有一个量变到质变的过程。前期一定需要大量的积累，看很多论文，做很多实验，把一个东西看的很透彻，这样你就会发现一些非常本质的问题，或者一些痛点。这个时候可能就会碰出来一些idea，这种方式需要长期的积累。前两个途径我觉得科研入门前期可以尝试一下，是性价比较高的方式。最后这个途径，就需要通过前期的一些工作来积累经验，到达一定程度后就能够自己想出idea。谢谢。

陈云霁：我觉得张士峰讲的有一点一上来可以给师兄们打点杂，做一些他做不过来的事情，别人的idea太多做不过来的。包括可能师兄在做的主要idea什么的，但是他可能也缺人帮助他做一些实验的工作。先从这样的比较基础性的工作开始，肯定学习起来能够更平滑一点。

山世光：刚才在B站上我看了很多人都在cue我们的谢雨彤小姐姐，讲讲她怎么获得新的idea。下面请谢雨彤来分享一下，怎么找新的idea的。

谢雨彤：好的，谢谢山老师。我一直觉得，找新idea这个东西，不是说一拍脑袋就想出来的，还是要经过之前同学们说的，经过大量的实验和前期积累，积累的多了，很容易的就能发现一些方法的不完美之处。针对这些不足，进一步地去挖掘需要改进的点，可能更有意义一点。比如说对医学图像处理领域同学来说，该方向其实是CV里面的一个小领域，但是和CV里面一些通用的项目都是有overlap的，比如说语义分割跟脑肿瘤分割，本质都是分割。当你做脑肿瘤分割的时候，首先肯定要想到的，这些通用语义分割方法，能不能在脑肿瘤分割上面work，要先试一下。以我的经验，大概率的情况下，虽然会work，但是可能并不会work的很好，因为不同的疾病的医学数据本身是带有特殊性的。所以我觉得接下来就要针对该数据本身的一些特点去改进，使之可以达到更好的性能，可以具有更高的临床价值，我觉得这些可能是比较重要的一种东西。

山世光：好的，确实是从应用里面，从实践里面去发现已有方法的问题，或者说系统存在的问题，这本身是一个非常好的，去找到新的可以去做，有价值的这样一个起点。我刚才应该说cue了几位同学，下面看看陈老师有什么问题。

陈云霁：我其实代很多同学问，想各位同学已经在研究上面非常好地产出了，但是你们在你们读博的过程中，有没有很迷茫的时候？感觉特别痛苦或者说压力很大的这种时候，是怎么从迷茫中走出来的？还是说在座的各位，都是顺风顺水的？比如说刘宇，你觉得你没有这样的一种经历？有没有过比较迷茫的时候？

刘宇：我觉得我会是一个比较典型的例子，虽然像我刚才讲的，我从大二开始接触CV了，但是真正我觉得接触CV的这个研究，甚至是在大四，甚至大四的这段时间，至于说为什么？就是因为没有老师带，包括后来慢慢地接触了一些带我的师兄，或者是大佬。举例子，比如说我大二的时候认识了一个带着我做CV研究的大佬，但是这个大佬可能非常地厉害，导致一些事情感觉我非常差，就不太想很尽心地带我，会给我一些目标，就是说什么时候要搞定什么事情，但是他并不会告诉我这个事情到底怎么做，该怎么样去看，所以那段时间特别痛苦。每天可能挤出来三四个小时，就怕大佬去找我要东西，又不敢问他怎么做，那段时间，还跟前女友分手了。所以基本上那段时间，将近有一年的时间，我是处于非常抑郁的状态了。在那段时间里我也非常怀疑我自己，怀疑自己太傻了，就不太适合做科研。

但是是什么事情让我发生了转机？终于有一天我觉得可能我从方向说，觉得都不太愿意再去继续做这样的方向的时候，我就选择了一个转移，我找了另外的一个公司实习，其实我现在所在的商汤，当时在商汤带我的leader，非常地nice，给了我非常大的自由度，无论从idea还是从整个学术的taste从学术的方法论上，都给了非常大的指导，从实验的角度来说，也给了我非常大的指导，让我重新拾起了一些信心。

所以从那年起，我是从大二开始去接触CV，也就是从大四下学期，我觉得才真正开始做我觉得还是比较不错的学术研究的。所以我觉得从我们经历的来看，可能大多数同学觉得并没有什么。但是我觉得对于我来说，前期一个很重要的教训，就是要找到一个适合的学术风格，思考问题比较匹配的导师也好，或者是一个师兄也好，能够带带你，其实这个也是刚才几位同学也提到了，刚开始你是一个小白，想快速提升，无论是从方法上，从taste，从方法论上，都要有这样一个人去带着你才能做的很好的。

陈云霁：谢谢，我觉得你说的我也都感同身受，想起了我非常痛苦的博士阶段，又有做不出文件，又被前女友抛弃等等的，特别感同身受。

山世光：陈老师也透露了自己的心路历程。

陈云霁：谁没有过几件这样的事情呢？我这边看山老师这边有什么问题？

山世光：我B站上也有好多同学说要大家分享一下打比赛，看你们几位好像都有打比赛的经历，像是代克楠，像是宣毅，董胤蓬，都是打比赛打过的，你们谁可以分享一下你们打比赛的经验？谢雨彤是不是你的网络出问题了？要不我们请代克楠分享一下。

代克楠：我先大致分享一下，其实打比赛跟做实验，我觉得其实差不多。就比如说你们要提出一个什么新的实验我看有的同学就把这个代码能跑通了，他们能有这个结果了就开始做实验了。但是我一般做比赛的时候，这个代码都非常地完善，各个模块都给它模块化。比如说我Key上一行代码，一行代码可以让这个程序好几天一直都跑。这样的话，我做实验不会那么容易嵌入局部最优，他们有的做实验比如说我调一个参数，我跑一下之后，我就看一下结果，然后我想得出什么样的结论，其实这样有很多的偶然性。比如说有时候并不因为你这个东西，导致你做来做去之后自己陷入了一个局部当中了。如果效果也提升了，并不是因为你改变了这个东西，有可能因为你的实验量太少了，随机误差，所以我一般做的话，我都是，比如说我要设一些参数，如果这个算法有时间的话我都会重复做好多遍，并会同时设很多个参数，并且像代码也是一键跑，数据也是一键可视化，比如说我跑个两天，我把这些数据全部拿来，来做一个分析，这样你得出的结论不容易出问题。因为之前我带过一个师弟，他做实验的时候就出现一个问题，比如说他加了一个东西，他说这个性能掉了，他觉得这个可能是因为这个性能好用，但是之后他跑了一遍发现性能又提了，他就很困惑，这跟他之前得出的结论完全的相违背。

山世光：到比赛还要打一个平台，或者说你整个要做一个非常好的规划。

代克楠：就是你自己做的时候，先把你自己的实验平台搭好，就可以给你进行大规模的实验数据的测试。另外一个方面，比如说你要做比赛你要选一些算法，这种算法，比如说我去打第一年vot的时候，我当时选的是去年的关键算法。当时你觉得你要选关键算法它的性能不是特别好，但是一般选这种算法，它比较大的一个问题就是说调参都是已经调的很好了，你在上面的空间是非常小的，所以后来调了一段时间，在上面花了不少时间，最后就放弃了，然后就自己重新搭建一个，那个时候也是有一些，比如说你要做充分的调研，比如说你要如何tracker，你要选什么样的，你把大致的都做一个调研，你的大概算法是什么样的，都要做一个调研。然后你放在自己的平台上，这个时候的参数千万不要调，千万不要调参数，你把这些模块放在一个平台上，你全部跑定，至少怎么best的性能模块图是最好的，然后你挑出几个最好之后，你在上面继续挑战。这样的话，你进步的空间也非常大，这样你很容易做出比较好的成绩。

山世光：看谁想一下打比赛的诀窍和经验？董胤蓬有分享的吗？因为你也是打过很多比赛的。

董胤蓬：简单说一下吧，打比赛的话，我们是参加Nips2017年的对抗和比赛，我们很有幸是获得了三个项目的第一。后面我们参加了一些极棒的比赛。关于比赛技巧，我就不想多聊了，因为大家网上可以查，有很多跨国比赛的，Grade baster的一些经验分享，他们的经验也是非常丰富的，其实我也跟他们学习了很多，我想说一个有点跑题的问题，我们在打比赛之前，应该首先要明确，为什么去参加比赛，因为可能大家参加比赛的目标是不一样的，比如说有的时候完成某个课程的一个大作业，或者有的时候是课余类的，想参加某个比赛，有的时候大家目标很明确，就是为了赢奖金，或者大家做科研相关的。所以我觉得目标不一致的时候，对比赛参与程度也是不一样的。很明确的一点，如果大家真的想要在比赛里面取得成绩，还是需要投入特别多时间的，所以如果一个比赛，跟你研究的题目不相关的时候，大家可能就要慎重选择了。不然很有可能花费的精力不够，也取得不了好成绩。或者是就影响自己正常的科研工作。所以最好的情况，大家要找到和自己科研题目比较相关的科研比赛。所以这样在比赛的时候，可以投入更多的时间，也可以自己加深自己对于这个问题的理解，为了帮助自己后续的科研工作。

山世光：是的，确实讲的非常棒，不能为了打比赛而比赛，甚至说不能在读博期间，最好别为了挣钱去打比赛，因为我们现在有很多比赛，奖金还是非常丰厚的，现在我看有很多同学都在问，你们都分享成功的经验，能不能分享一些失败的经验，你们都踩过什么坑，你们有没有掉到坑里面去特别后悔的时候，看哪位同学能分享。宣毅有没有？或者是类似于很迷茫，或者是这种做的不太好的时候，怎么走出来的？

董宣毅：我感觉我做实验的时候，经常会遇到很多坑，也比较迷茫，自己想了一个算法，自己想象的效果和实验出来的效果不一致，自己又不知道怎么办的时刻，我个人一点小经验，当遇到这种时刻的时候，我会尝试一下几个方面。一方面是说我会把这件事情先放下去，着手做另一件比较重要的事情，有时候我觉得做research，可能一直在专注自己这个方向，可能有点认知障，自己有时候会没有看到一些失误的地方，如果放一段时间之后再去回过头看，可能会有不一样的认知。第二点，我觉得可以多和别人去交流，我个人在做research的阶段中，有幸和很多人都合作过，跟不同合作者去合作，他们身上都有自己的个人的做research的习惯，他们也有自己的一些很多的想法，我觉得多和不同的人去交流，尤其是从senior professor一直到 junior student都去相互地交流一下比较好。尤其像我是做application的，但是有时候跟做theory 的人去交流，他们会给出来一些新颖的想法，多和不同的diverse的人群交流，能够帮助自己走出迷茫的阶段。

山世光：非常好，我觉得这点像优化，我们有时候优化一个local的minimum里面，如果是不放一放，不跳出来去交流交流，可能就一直在这里面跳不出来，说的非常好。陈老师？

陈云霁：我这里还有一个问题，我作为一个导师的角度，我看有的可能提到导师的不是特别多，所以我就从一个导师的角度说一下，大家觉得我们和导师在合作的过程中应该怎么去一起做研究和老师怎么去做互动，怎么和老师提要求？老师对你们提的要求，你们觉得应该怎么处理掉？包括我自己也觉得，有的时候我跟学生说，我说你也别全信，你也不能全不信，那么我就不知道你们是怎么导师去一起做这个工作的，比如说刚才谢雨彤掉线了，要不然这次请谢同学讲一讲。

谢雨彤：好的陈老师，我觉得我还是比较幸运的，因为我们当时入学的时候正好是夏老师当时比较早的学生，所以我们跟老师的交流会比较多，老师给我们很多有价值的建议。我觉得这个师生的这个交流，可能要分不同的阶段，比如说刚刚入学的时候，其实我们都还是很懵懂的状态，不知道怎么做，这个时候我觉得，老师的重要性可能会多一点，我那个时候，基本上是老师会告诉我不应该做什么，如果我实验中遇到了很多问题，大部分也会向老师请教帮忙解决的。当后面做的东西多了之后，就可能形成了自己的一套研究习惯，或者有一些新的想法。这时候我觉得还是不要很盲目地去动手做，我一般要在动手前，一定要和自己的老师讨论一下你这个想法到底是不是可行，老师会给很多建议，帮你完善，整个方案完善了之后做去动手会更好一点。然后去执行这个方案的时候，还是会遇到很多问题，比如说你本来设想是这个东西效果是好的，当然它最后没有好，这个时候还是要主动地和老师交流反馈。我觉得在科研的道路上，主动思考是必要的，但是积极主动去交流是同样重要的一件事儿，不管是和老师还是和周围的一些有经验的师兄师姐。我是比较深有体会的，我的性格是比较轴，如果一件事儿，一直卡在那的话，就一直会过不去的，所以我如果遇到问题了，就会很主动地跟老师或者是同学们进行交流，师长们的经验是可以帮我们在科研的道路上少走很多的弯路，这就是我想说的一些感触吧。

山世光：我看有几位同学都是特别地成功，这个成功有一些同学，可能初期就显示出来了，有的同学可能在刚开始的时候也都是小白，当然大家可能刚生下来都是小白，这是必然的。大家再回过来看你们的成长历程的时候，你们觉得对于低年级的同学，因为我看B站上有很多同学都在问，自己现在是研一研二，问一下在低年级刚入门的时候，应该怎么做，可能更容易使得自己之后能够有更好的这样一些发展。我想这个是一个非常好的问题，因为在初始阶段，就像我们说的初速度，初速度的方向都错了，可能后面就很难有非常好的这样一个结果了，能不能看哪一位同学分享一下，给低年级的同学有一些什么样子的建议。我们请张士峰，很多人在cue张士峰，我们请张士峰来说一说。

张士峰：好的，我和大家都是从低年级过来的，也有体会。低年级时，如果想遇到能够手把手带你的老师和师兄，这种东西是可遇不可求的。遇不到是正常，遇得到是运气好。对于低年级的学弟学妹们说，大家一开始如果没有遇到特别好的机会，就独立的把各方面能力锻炼起来，比如做科研需要什么能力就针对性的锻炼，培养好独立思考、学习的习惯。如果你有机会能够走出去外面跟别人接触那是最好，但是如果不行的话，就自己把自己的能力培养起来。绝大部分的人都没有什么大腿可抱，大家多靠自己克服各种困难。比如说论文看不懂，那就是因为你论文看的太少，比如说代码搞不定，那就是因为你的代码写的太少。科研中有几个能力非常，第一个就是自立，不靠别人。第二个是自律，保持好的习惯，保证充足科研时间。第三个是自学能力，也是非常重要的。等你真的有了东西之后，自然而然的，一些人就来找你合作了，但是一开始，你出去实习找大牛合作，都说必须有文章，但是不出去怎么有文章？所以要打破这个死循环，一定要靠自己先出一些东西。

山世光：不仅靠自己还可以靠VALSE，VALSE有这么多的资源。

张士峰：对，因为现在有很多交流的平台，很多资源都是现成的，这些东西用和不用都是你自己决定的，比如说像现在VALSE或者是各种分享都很多，这些都是免费的资源。所以大家前期如果没有任何人带的话，不要着急，十个人中得有九个是没有人带的。低年级的学弟学妹们，可以先把自己各个方面的能力培养起来。谢谢。

山世光：有没有其他同学反对张士峰的，我觉得说的好极端。

陈云霁：他说的还是active的思想。

山世光：我没说他说的不对。

陈云霁：把机器学习的一些思想，用到了人的学习上面。

山世光：看哪位同学就这一点上还有想说的，大家不要拘束，你们都是非常成功的。

董宣毅：我一点想补充的，我觉得现在我自己亲身的一些感受，大家现在可能光关注于看paper、看论文、想新的idea、做新的实验。可能有一点忽视了，machine论和deep learning的一些foundation knowledge，觉得太着急去看论文想新的idea，做实验。可能会把整个硕士或者是博士的基本上的时间都用在一些新的实验，尝试新的idea，发文章上面去了。但是对machine 和deep learning的foundation的一些知识可能会稍微一点欠缺。我深有感触的就是以前太着急去做一些paper导向的事情。但是现在回过头来想做一些更深入的研究，就感觉自己在machine和deep learning foundation上面相对弱一点，但是因为现在也到高年级了，杂七杂八的事情也非常多，也很难去重新地弥补之前一些欠缺的knowledge。但是如果是一个新入学的同学的话，感觉可以去花一定的时间学习一下这些foundation的知识，虽然可能对发文章不是很有帮助，但是我觉得发展是一个长期的事情，不是说看单个paper或者毕业的时候文章量多少，还是要看五年十年，我觉得那些foundation的知识，对长久的发展是很有帮助的。

山世光：说的好，真的是地基不牢的话，可能这个大厦是盖不高的。如果想起来董宣毅在讲的时候，我听说包括凯明，我如果没记错的话，凯明的第一篇论文是博三的时候才发的吧，一鸣惊人，三年不鸣，第一篇直接就是paper了。像是林大华在网上有写过，他是如何去助学的，这个可能有很多同学看过，确实做的非常好的话，基础是要打牢的。也许可能什么时候需要花很长的时间，在基础的积累上面。陈老师你还有什么要问的问题吗？

陈云霁：这个里面我觉得还有一个比较有意思的问题，就是说我们读研的过程，也是我们的生活中，人生中非常宝贵的记忆。这里面除了科研以外，还有一些其他的生活。不知道大家是怎么平衡这样的生活和科研的，我们996、007，除了这个科研之外还就没有其他的东西了。反过来说，如果是这样的话，可能有一点太单调了，不知道各位同学是怎么样看这个事儿的？

董胤蓬：这个问题我觉得里面很多优秀的同学，包括老师们，大家工作都是非常辛苦的。因为就像刚才陈老师说的，现在很多公司都是996，我觉得我看到的这些同学都要比996还要辛苦。所以如果真的有一些目标或者是追求的话，总归还要多付出一些时间，或者多努力一些的。但是对同学们来说，总归大家不是每天都是deadline，可能如果做学术的话，每年投会议可能deadline的时间都是固定的，所以就会形成一些一年之内循环的一些状态。比如说在某些deadline大家可能会很忙，如果在deadline大家谈生活、科研平衡，你的导师心态就崩了。所以说在这些时间点上，大家没办法，可能就会加加班，会很忙。但是我觉得比较空闲的时候，可能暑假的时候，大家的时间都比较多，这种时候大家可以多放松一下，多听一些报告之类的，还是挺好的。

陈云霁：我觉得刚才董胤蓬讲的，我也有点体会。因为不管是哪个领域，基本上都会有几个顶会，基本上一波未平息，一波又来了。感觉刚刚投这个会议投完了，过两天又出了一个会议，赶紧再过一个月怎么改改下一次，不断地转。其实在转的过程中，我觉得一方面来说，确实在不断地搞科研。但是另外一个角度上说，我觉得我们确实这样围着这几个东西转，带来的问题就是没有闲暇去看一些其他的东西，相当于规定直接跟计算机或者是某些原理相通的东西。我相信一个人最后的成就怎么样，跟它的知识面是有非常大关系的。现在在座的各位同学可能二十多岁，很难想象到了六十岁你还在关注这些东西。你一定是有了更了解一些其他领域的东西，然后把机器学习和深度学习领域结合起来产生了更大的影响。我相信就机器学习这么一点点东西支撑不了这么多数以千计、数以万计的研究者去关注四十年，所以最后一定会走到更高的领域上面去，我看谢同学做的可能跟什么相关，这就是一种例子。当然每个人到最后都会养家的。

比如说看更多的例子，比如说我也看一些神经生物学的东西，最后如果我们能够开山立派的话，或许是因为你过去看过的一些闲书，我不知道什么闲书，可能是地理的，可能是天文的，可能是生物的，但是这些正是你跟其他有所不同的地方。如果说我们最后只是跟着这几个研究课题在这转，最后没有一些其他的阅读和思考，没有一些闲的时间，甚至没有一点打游戏的时间，我觉得某种意义上来说，这个研究生的生活也是不完整。

山世光：说到这，我知道陈老师是游戏高手。刚才陈老师问的这个问题非常好，我记得好像我在微软待过非常短暂时期的时间，当时沈向洋老师经常说的一句话说“research is not all life”。research不是生活的全部，我们需要从研究里面要跳出来，也许就像他们一样，我们从local minimum里面跳出来，也许可能会找到好的一个极值点。这样，我们现在的时间也差不多还有10多分钟结束，是不是在B站的同学们，有问题的话可以问一些学术的问题，几位同学们演讲结束后都没有留问答时间，所以我不知道大家如果有一些关于他们报告的内容，也可以在B站的字幕上打出来。我不知道有没有夏老师和刘老师有搜集到一些好的需要问的问题，也可以请夏老师、刘老师把视频打开。

夏勇：好的，谢谢山老师，我这里记了几个问题不是很全面，我先替网友问一个，就是第二位董胤蓬同学，有网友问扰动强度和攻击强度有什么区别？还有问训练过程中是不是也会出现过拟合的情况？董胤蓬。

董胤蓬：好，我刚才介绍鲁棒性测评的曲线，扰动强度就是说添加噪声的泛数的大小，比如说从0，干净图片，从小到大，然后攻击的强度是指，比如说对于这种迭代攻击，可能是固定一个扰动下，它迭代多少轮，可能攻击10轮和攻击1000轮的效果不太一样的。或者是这种黑盒的访问攻击，就是给10次访问和给1万次访问，它的效果肯定是不一样的，大概就是这样的区别。

夏勇：再问刘宇同学一个问题，这个是我们有网友问，搜出来的结果差多元，它为什么搜出来的结果能够提升技能呢？还有想让刘宇讲一下，对蒸馏的理解。

刘宇：先回答第一个问题，我觉得搜出来的结果，在我们刚刚最早的研究这个问题的observation上，解释的很清楚了。我们认为一个神经网络它能够提供的信息，是由神经网络学到的参数共同来表达的，所以说如果你能够。这之前我们一般理解，我们是面对一个实际问题，给定一个固定的神经网络，我们直接去训练它就好了，但是我们就往往忽略了神经网络结构本身，也是具有一定信息的。所以如果我们把神经网络结构和参数一起来搜索和优化，它一定会变得更好，这个也是NAS这个领域出现的原因之一。

另外一点关于处理轴的理解，这个模型的理解，我觉得浅一层理解，就是说你要一个小网络去学习一个大网络的输出，这样它就会好，它为什么会好？我个人认为，可以从两者去理解，第一个角度是说，就首先大的网络它一定不准确，它一定不如ground truth来的准确的。但是为什么去其他网络的数据反而会变好呢？我觉得是因为，神经网络它究竟能够学到怎样的Python，它们之间是比较相似的，比如说一个是152，一个是18，他们能学到的那些样本，哪些容易哪些难，对他们来说可能是比较相似的，但是对于人类来说，神经网络自己的定义会不太一样，所以我们让一个大神经网络去给这个data标一些soft的distribution label，也许可以让小网络更容易学一点，当然这是一种更直观的理解。另外一种更偏理论一点的理解是说，有的人认为KZ是一种正则化的方式，还有一些理解是说，就像smooth label一样，产生的梯度之间的关系变得更平坦一些，这样对优化来说也会更好一些。总之关于模型蒸馏为什么那么火，目前来讲也是一个比较开放性的问题。学界有各种各样的解读，对这个感兴趣的同学，深挖一下还是蛮有意思的。

夏勇：谢谢。

刘偲：我接着问一个问题，一个是刚刚有人在问的是张士峰，说“请问人脸检测，现在还有做的空间吗？”

张士峰：人脸检测或者说物体检测是比较工程性的问题了，在工业界已经很多应用，能够深挖的点不是特别多了。但是现在可以做的，是检测加一些新的东西方向，比如说检测+unsupervised或者检测+domain adaptation，就是把这些老的方向和新的东西结合是一个趋势。

刘偲：还看到有人问了为什么在NAS benchmark性能比较差一点。

董宣毅：谢谢刘偲老师刚刚的提问，我的NAS benchmark里面包含了15000个architecture，这15000个architecture相对来说是一个比较小的search space方法，在这种比较小的search space上用这种算法的话，他会有比较强的fitting的现象。它就会fitting到一个比较差的网络，比如说所有的连接都是skip-connection这种文章，在DARTS文章中，他们是在一个比较大的search space 上，可能有10的20次左右这样量级的所有的空间中。在这种大的所有的空间中，over fitting的现象会被化解，同时也会将达到over fitting那个时间点滞后，所以说在这些大的搜索的空间和数据集上使用这些方法，性能会相对好一点，不会像在NAS-bench-201上表现的那么差。

夏勇：好，我这边还有一个问题，我们问第五个讲者谢雨彤的，首先这个小样本的数据集里面，是不是需要一些额外特殊的预处理，另外在刚刚的方法里面展示的病灶只有一个病灶区域，如果有不只一个病灶区域怎么办？还能用吗？    

谢雨彤：谢谢夏老师，其实预处理，在我讲的这个里面，我是没有用图像增强这类的预处理，但是我觉得在一些其他的，我之前做过一些比如说肺炎，或者是一些肿瘤的上，它其实有些时候，你可以看到他的CT或者MRI有可能质量不是特别好，所以这个时候，我觉得做一些图像增强之类的预处理是有用的。但是我在皮肤癌的任务上，我觉得它的目标是相对比较清晰的，所以就没有去做这类预处理，但是数据增广技术还是必须的。关于不只一个病变区域的这些问题，在我做的这个任务中，都是一个病变的这种情况，但是如果它有两个病变的话，我觉得也是不影响的。因为我首先要做分割，把病变分割出来，然后分类的时候，就是要根据这些病变区域去进行分类诊断的。所以它不牵涉到一个病变区或者是两个病变区的情况，这是我的理解。

夏勇：谢谢，山老师，这就是我们这边收集到的一些观众的问题。

山世光：我看到的问题还很多，当然时间问题，我们确实也不可能把所有问题都回答。看得出来，同学们还是非常希望能够有这样子一些和一线的研究生们交流的机会。所以我们也是举办这样的一次青年学者研讨会的初衷了。我们后面每个月，希望是能够做到每个月安排一次青年学者研讨会，也欢迎今天在场的同学，也会有机会再次来做最新的研究报告的一些演讲，同时也请观众们，继续关注我们这样一个活动。当然夏老师和刘老师还给我们留了一个题目，最后请每一位在场的同学，也包括陈老师，给我们的同学们，一个简短的寄语。请张士峰先开始吧。

张士峰：好好科研，但科研并不是生活的全部，希望大家能够把生活中的事情都做好，开心最重要，谢谢大家！

董胤蓬：疫情期间这一个学期也没有开学，所以这段时间确实是很困难的，也希望大家能够在这个期间平安健康，同时也能够在自己的工作或者是生活上能够一切顺利，谢谢大家！

刘宇：祝大家真正能找到自己感兴趣的东西，自己喜欢的，能够做一辈子的东西，然后把它认认真真地研究下去，并且出很多成果，谢谢大家！

董宣毅：我说一句话“不忘初心”，感觉读博的期间还会遇到很多的岔路，需要做各种各样的选择，这个时候通常会比较纠结，一般做一个选择就意味着放弃一个事情，大家做选择的时候，还是要回顾一下自己的初心，才能做更好的决定。

山世光：非常好，不忘初心。

谢雨彤：我还是觉得，要让大家找一点，如果大家觉得正确，那就一定要坚持地走下去，不要放弃，一定要坚持。

代克楠：我主要是希望大家都能找到自己的科研节奏，因为科研跟所有的那些娱乐并不冲突，只要把握住节奏，科研和生活一点不冲突。

陈云霁：我刚才说过了，我觉得是不能不听老师的，也不能全听老师的，有一天你可以在不需要老师的帮助下，就能够去做研究了，那才是一个真正的理想中的博士，具备了独立自主的科学研究工作的能力。

*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。