研究之路再孤独，也不要失去理智和希望！
无导师、无同伴、无资金援助，在这样的条件下「为发顶会 Paper 而战」是一种怎样的体验？
近日，全国各地不断有城市对高端人才释放购房优惠政策，南京也频出新政。泱波(资料图) 摄
我的建议就是如此。这并不是一种非常具有启发意义的寻找研究思路的策略，在这个过程中你也会遇到一些重大的挑战，但的确是一种可行的策略。
2019 年，他们也曾邀请我为其在 NodeConf EU 2019 上推出的物联网智能手表/胸牌开发 TensorFlow 组件。虽然这笔收入不足以支撑我全年的所有开支，但也对我帮助很大。
在决赛中，小雷耶斯打进4球，帮助皇马U12梯队5-3逆转击败塞维利亚，成功夺冠。整个系列赛，小雷耶斯在6场比赛打进9球。
其实，第二点也可以归结为一些审稿人不相信我们的实验结果和复现。这就是我们在改进别人夸大的实验结果时可能遇到的难题。
在 2017 年 9 月至 2018 年 10 月期间，我一直都是一名自由职业者。在我刚开始成为独立研究者时，我的朋友 Emil Bay 向 NearForm 推荐了我，他们想做一个名为「clinic.js」的新项目。该项目不仅需要工程师对 Node.js 的内部实现有详细的了解，还要求具备统计学背景和网页可视化技术。
而值得一提的是，驱动 Andreas Madsen 尝试发顶会论文的原因，则是他在申请博士入学资格过程中四处碰壁的经历。
不过，上述公示信息并未透露是哪7家实验室未通过教育部科技司的定期评估。
审稿人更偏向支持已经发布的研究成果。与批判之前发表过的论文相比（尤其是当这些论文出自 DeepMind 之手），他们更容易对你新提交的论文持批判性态度。
在我们做出这一系列的修改后，这位审稿人的意见从 NeurIPS 的弱拒改为了 ICLR 的弱接收，在 ICLR 的终审意见中又改成了接收，他甚至还对其他审稿人的意见评论道，「这篇文章中体现的贡献进步巨大」。
现实情况是：「一两篇机器学习顶会顶刊论文是十分重要的」
这个项目简直就是为我量身定制的！此前，我做过大量的可视化工作，参与了与 Node.js 内部实现相关的工作长达 6 年的时间，并且刚刚取得了机器学习硕士学位。所以，我在这个项目中获得了丰厚的报酬。如果我能将自己的开支消费控制在非常低水平，这份报酬足以支持我进行 3 到 4 年的研究。
2. 在主要的研究之外，我也进行了一些附带的项目。把所有时间都分配给同一份工作的风险太大。不妨花时间做一些你认为有用的小项目。写个开源工具、复现一篇知名论文都可以。从研究中抽身出来，放松一下也是非常有必要的。这样一来，即使研究项目失败了，但至少完成了某些小项目。对我来说，能够让这些附带的项目被知名研究者们认可也是一种莫大的鼓励。
可以说在资金方面，我非常幸运。但是，丹麦是一个消费水平很高的国家，或许在另外的国家资助自己完成研究会更加容易。
然而，尽管可能没有与你感同身受的人支持你，但你也可以通过其它方法解决这个问题。我是这么做的：
我的硕士学位论文和在 Distill 上发表的论文都是对其他人夸大或具有误导性的作品进行批判性思考，然后改进这些工作。而且这项研究的难点在于优化，而我对此却很擅长。所以，我觉得自己可以胜任这项任务。
2019 年 4 月，为了在重要的学术会议上发表论文，我下定决心成为了一名独立研究者。终于，在 2019 年 12 月，经历了漫长的七八个月没有资助的研究工作，我成功了！我的论文被 ICLR 接收了，更令人欣慰的是：这篇论文被接收为 Spotlight 论文！
机器学习领域的独立研究者 Andreas Madsen 用 7 个月的时间成就一篇 ICLR Spotlight 论文，为黑暗中默默探索的独立研究者们带来希望！当然，他本身也是一名技术达人，机会从来只留给有准备的人！
一个拥有机器学习硕士学位、丰富的机器学习开发经验，同时也发表过一些重要论文的研究者竟然只因没有发过顶会论文，而被一众教授拒之门外？
然而，我却遇到了 Alexander R Johansen，他是一位助理研究员，想要寻找合作伙伴。2019 年 3 月下旬，我写信给他，他告诉我他的几名学生尝试复现 DeepMind 的论文「NALU」，但都以失败告终。所以，他问我是否愿意对此进行研究，也许我们可以由此写出一篇 NeurIPS 论文。
这次提交给 ICLR 的论文有什么不同的地方？
在应聘谷歌的研究型软件工程师时，甚至有一名谷歌的高级研究员找到我，他鼓励我申请他们部门的职位，并正式推荐了我。为保险起见，我还请求了另一名谷歌的高级软件工程师内推我，他曾经与我在开源的 Node.js 项目上有过很多合作。
图 7：要在神经网络上实现数学上的外推十分困难。我们提出了一种新的对比基准，并发现 NALU 十分脆弱。那么我们如何构建可以学习算术方法的神经网络呢？仅仅使用更多的数据并不能做到这一点。
如果没有从他们那里得到的经验，我不确定我是否还能被 ICLR 接收。大家可以读一下小说家 McCarthy 关于如何写科学类文章的技巧，里面涵盖了我学到的大部分经验。
佛山粤剧院建设项目规划总用地面积约1.26万平方米，总建筑面积约3.4万平方米，包括粤剧旅游剧场(大剧场)、小剧场、粤剧电影院、粤剧茶楼、粤剧非遗展览馆等，把粤剧与文化、旅游结合起来，打造成集剧院演出、非遗传承交流展览、粤剧文化体验、少儿粤剧、文化休闲、剧团营运以及旅游为一体的“一站式”和“体验式”的剧院综合体。
每个人都多多少少需要一些鼓励。不要以为在没有任何鼓励的情况下，你自己也能撑过 7 个月。我一直在担心出现下面的情况：找不到解决方案、遭遇不公正的同行评审、得不出有用的实验结果、发现工作中存在某些重要缺陷、甚至担心即便论文发表了也会因为课题过于小众而没有影响力。
值得一提的是，我们收到了四份审稿意见，我认为，这意味着我们的领域主席对此非常感兴趣。其中一位评审在 NeurIPS 上也审阅过我们的论文（可能是那时的 reviewer #3），同时他在 NeurIPS 上给出的审稿意见也是最具建设性的。
好的研究思路从何而来？
图 5：三天完成的附带项目示例，用到这个项目的研究者会十分感谢你，从中你可以感受到鼓励。（推特大意：很高兴在此发布「pip install Ircurve」。它可以被用于绘制实时的学习曲线，而不像 TensorBoard 那样繁琐。它包含一个 Keras 帮助文件和模型无关的接口。
据悉，近年来，为抢救传承粤剧传统技艺，佛山开展了《佛山粤剧六十年》口述历史工程，重新发掘整理有“粤剧四件宝”之称的四大例戏，复排传统大戏《香花山大贺寿》，创作了《小凤仙》《小周后》等优秀剧目并拍摄成粤剧电影。
我们将论文提交给了 NeurIPS 2019，但惨遭拒稿。当时我内心十分煎熬。毕竟，我付出了那么多的时间却一无所获。我感觉自己的梦碎了，我再也没有机会追求自己的梦想，不能从事我热爱的机器学习研究了。
如何吸引更多人才落户创业就业已经成为不少城市的“工作大计”，而“居者有其屋”也成为不少人才选择发展地的重要条件，近日，全国各地不断有城市对高端人才释放购房优惠政策，其中，深圳和广州的多个区都纷纷“解绑”人才购房的限制。
佛山粤剧院院长李淑勤表示，剧院将以该建设项目启动为契机，在粤港澳大湾区建设中继续做好粤剧传承、普及、推广。
一篇论文中可能有一到两条重要的信息，如果它们被误解了，那么就会让读者感到非常困惑，从而被拒稿。所以，不要害怕反复强调某些重要信息，从而避免这些问题。
最后，我想告诉大家，我和 Alexander 一起花了很长时间对这篇论文进行润色，尤其是在摘要和引言部分，他的帮助非常有价值。
对此，他最后呼吁：学术应该有清流，不应唯论文论！
佛山市政府有关负责人表示，佛山粤剧院项目是该市推动粤剧传承发展的一大文化工程，也是擦亮佛山作为粤剧发源地名片的重要举措。佛山结合自身的资源优势，不仅加大戏剧传承发展的政策优惠和财政支持力度，同时把文化场馆建设作为重要抓手，积极推动文化保护和传承，促进文化与旅游的融合发展，共生共荣，让市民的文化权益得到更好的保障，文化参与感、获得感显著增强。(完)
最好的人工智能博士项目要求申请者已经在顶会上发表过论文。如果你并没有在 ACL/EMNLP/CVPR/ICCV/NeurIPS 或 ICML 上发表过论文，你被录取的几率就非常小了。——某 QS 全球排名 Top 5 大学的前委员会成员。
在所有提交的论文中，大约只有 20% 会被接收，你的同行审稿人会寻找各种理由拒掉你的文章。你认为文章已经「足够好」是远远不够的，你需要让自己的论文被人赞叹道「great」！
在本文中，我会向大家提出一些这方面的建议。但是，更重要的是，我想谈谈为什么我选择成为一名独立研究者。要知道，在没有任何资金支持的情况下工作 7 个月并非儿戏，这种做法值得大家慎重考虑！
图 4：作为一名独立研究者发表论文，很可能是我做不到的事，我也想过会失败，但无论如何，我都会尽力做到最好。
这一现象在他看来，其实更像是学术界的一种「新精英主义」，最终会放大已经对这一行业产生了挑战的固有偏见。
仅仅这样写还不够，你还需要在整篇文章中反复表达这个观点，让即使最懒的审稿人也能看到它。
尽管如此，我还是没有得到面试机会，也没有 HR 联系我，了无音讯！
“按照规定，每个商品住房项目每批次优先供应人才的房源为上市销售量的20%—30%。原则上，每批次上市量不足100套的项目，人才优先供应比例按20%计；100套以上的项目，人才优先供应比例为30%。”郭宏定介绍，开发商会根据项目的销售方案，按人才优先、其他购房人递进的顺序组织选房。
我的一位朋友（认识另一所大学的前委员会成员），则收到了下面的回信：
以下为他亲自撰写的经验分享：
据统计，截至目前南京市有73个商品住房项目的1.8万套住房拟于2020年一季度上市，其中不乏黄金区域的热销房和高档住宅，全部向人才开放优先选房。此外，还有南京政府定向筹集的青奥村项目第二批房源也将在一季度上市，面向人才集中供应，该项目合计将向人才供应高质量房源387套。
南京市住房保障和房产局局长郭宏定告诉记者，符合要求的海内外和港澳台人才，不限户籍，每名人才家庭均可享受1次优先购房服务，不过仅限购买1套住房，并且所购住房5年内不得转让。
教育部科技司表示，评估结果公示期为2019年12月20日-26日。公示期间，有关单位和个人如对公示信息持有异议，应当以书面方式（可先发电子邮件）向我司提出。异议书须写明事实理由及提出者的真实信息、联系方式等，并提供必要的证明材料。超出期限的异议不予受理。
作为准一线城市，近年来，南京市区内不少热门商品房项目尚未上市就已被“挤破门槛”，即使设下50%乃至于60%的验资要求，也拦不住购房者捧着几百万元验资金抢房的大潮，在这种情况下，该《办法》中的最大亮点——“人才可优先选房”就非常具有吸引力了。
几乎所有发表的论文都会对其性能进行夸大，所以改进他人的工作是一种可行的研究策略。
图 1：是的！我的第一篇顶会论文本 ICLR 接收为 spotlight 了！我们将 DeepMind 的论文「NALU」中的性能提升了 3-20 倍。我在没有任何资助的情况下，作为独立研究者，花了 7-8 个月完成了这份工作。
作为论文的第一作者，在写论文的过程中，背后没有与你感同身受的人支持你是很难熬的。这是我建议大家不要成为独立研究者的首要原因。
那么为什么我们会被拒稿呢？我总结的经验教训是：
一些审稿人不相信我们成功地复现了 NALU 的结果（那篇我们进行了改进的论文）。很多审稿人都会问：「为什么原始论文中的结果比你们给出的结果要好很多」？ 一些审稿人要求我们在提交的论文中做到 NALU 论文声称可以做到的所有事情（即使我们已经提供了明确的证据来说明 NALU 模型并没有将这些事情做到令人满意的程度）。如果你看过这篇论文，我们没有解决的是除法，以及加法和乘法之间的门控。尽管如此，我们也对其它方面进行了改进。
南京人才购房新政即将实施，明年年初万套上市新房可供人才优先选房。泱波(资料图) 摄
然而，我第一次向 Distill 投稿的时候遭到了编辑的拒稿！他们不清楚我的工作有何贡献。它到底是对 Nested LSTM 的批判，还是提出了一项新的 NLP 任务「自动补全」，或者它是一种交互式的可视化技术？
所以，想要在没有内推的情况下申请到博士学位，你本身就需要拥有可以拿到半个博士学位的成果。
然而，（对于独立研究者来说）你并没有任何导师能帮你，此前你也没有发表过论文，那么怎样才能写一篇令人叹为观止的论文呢？
在我将这篇论文发布在 Twitter 平台上后，它迅速地传播开来，为像我一样的研究者带来了希望。因此，我迄今为止收到了近 100 条私信，他们都在征询我的意见，想知道如何作为一名独立研究者发表论文。
然而最终，我竟然连一个面试机会都没得到！
我想澄清的是，DeepMind 在论文「NALU」最后给出的结果并不是假的，它们是可以复现的。但这样的结果对于「外推任务」来说，却并非以最合适的方式去构建的，该任务是主要的目标，它使模型能够比第一次和第二次通读的时候看起来更好（你需要更加仔细地阅读实验结果）。而且，NALU 这篇论文只展示了具有单个种子（seed）的结果，而我们的论文展示的是具有 100 个种子时的结果。关于个话题我们发表了一篇 workshop 论文「Measuring Arithmetic Extrapolation Performance」（论文地址：https://arxiv.org/abs/1910.01888）。
实际上，有很多方法可以发掘研究思路；如果你不用负担别人的开支，有很多办法可以自己省钱。你可以进入一种「孤独地生活，但不放弃理智和希望」的状态，这并不会让你感到十分难受。
我们做了一件非常明智的事！我们把自己完成的 NALU 的实验设置和复现结果发表在NeurlIPS 2019 的 SEDL 研讨会上。我们还将这项工作写在了推特上，发布了 NALU 一作的标签，他回复道：「很棒的工作！有了好的对比基准，我们才能继续改进模型」。这对我们来说很有帮助，我们不必再为实验设置和我们的新模型而争论了。相反，我们可以专注于我们提出的模型。
记者了解到，从明天起，需要购房的人才就可登陆“我的南京”APP，通过文件审核获得电子版《人才购房证明》，该证明有效期12个月。郭宏定提醒，该证明专门为符合条件的人才购买商品住房开具，不同于普通购房证明，人才凭《人才购房证明》购买商品住房时可优先选房，“市级出具的《人才购房证明》可在全市通用，但江北新区等区级出具的人才购房证明仅限在本区内使用。”(完)
根据上述通知提供的数字，化学化工领域51个参评实验室中，减去9个优秀和36个良好，共有6家实验室未通过定期评估。交叉领域10个参评实验室中，减去1个优秀和8个良好，有1家未通过定期评估。
我其实很希望我能告诉你，我们的改进起了很大作用，但事实是，我觉得我们只是比较走运，遇到了一位超棒的审稿人。由于评论是公开的，他在 OpenReview 上对我们工作的评论引起了更广泛的讨论、更深入的批判性思考以及更少的谩骂性评论。
该项目计划总投资3.5亿元人民币，预计2022年建成竣工，届时将是集粤剧文化乃至中国传统戏曲文化的展示窗口，有望成为粤港澳大湾区人文湾区的新地标。
记者注意到，按照《办法》要求，以下几类人才可享受这一优先购房的待遇：在南京市工作，取得博士学位的人才；在南京市登记注册的规模以上企业、高新技术企业、已备案新型研发机构工作，取得硕士学位的人才或取得高级技师及以上职业资格的高技能人才；在南京市登记注册的企业工作，年纳税收入50万元及以上的企业高级管理人才和技术骨干；在南京市工作，通过南京市高层次人才举荐委员会认定，并经该市市委市政府批准的举荐人才等。
当然，我也收到了一些其它的邮件（大多数人并没有回复我），那些教授说得没有这么直白，但是对我的申请也完全不感兴趣。
这就是事实！为了实现我自 2011 年以来的梦想，我需要发表 1-2 篇顶会论文。于是，在 2019 年 4 月，我决定全身心投入到科研工作直到 2020 年 1月，力争在 NeurIPS 或者 ICLR 上发表论文。如果最终还是没有成功，那我就会去做一名 JavaScript 程序员。
作为一名独立研究者，你可能很难获得来自任何人的鼓励。当然，我也知道，许多博士生导师也不会鼓励他们自己的学生，但这些学生可以从处于类似困境中的同门那里寻求鼓励。而一名独立研究者想要得到这样的鼓励几乎是不可能的，这也是我建议大家不要成为独立研究者的首要原因。
据介绍，为不断提高人才安居政策措施的精准性、实效性和吸引力，进一步解决好人才普遍关心的购买商品住房问题，南京市今年11月6日就出台这项专供人才购房的《办法》，该文件一出台就受到社会各界关注。
在申请期间，我收到了一位教授的回信：
在对 NeurIPS 2019 的审稿意见进行反驳之前，我们已经对论文进行了一些改进。在提交给 ICLR 的版本中，我们补充了更多的证据和实验去支持我们的观点。
2018 年 3 月，我在「distill.pub」平台上作为唯一作者发表了论文「Visualizing memorization in RNNs」，说明了针对自然语言处理任务，如何通过一种交互式的显著性可视化技术，证明两个准确率几乎一样的模型具有差异极大的表现。
正如我所说，可以有很多种方法发掘研究思路，所以不要太在意我的说法，要充分发挥你自己的创造性。
就我而言，我的第一份论文放到了 distill.pub 期刊上。回想起来，我那时太幸运了——Distill 特别关心论文的写作质量。因为与通过同行审稿人（他们自己可能并不精通写作）的评审相比，Distill 更加强调论文能解释清楚并教育他人。对于我来说，写一篇用于解释和教育的文章，要比写一篇取悦同行评审的文章容易得多。
我想，他们实际上也要求申请者拥有一两篇顶会论文，但并不想直接承认这一点，因为这种糟糕的标准只对那些非常幸运的学生们有利。——我硕士期间就读的大学并没有鼓励我们去发表论文。但是丹麦同样也是一个读硕士的好地方。
让自己的命运掌握在匿名的同行审稿人手中是一件很奇怪的事。
今年6月，前皇马、塞维利亚球星雷耶斯因为车祸身亡之后，皇马签下了小雷耶斯，此外皇马主席弗洛伦蒂诺承诺将他抚养到成年。（亚瑟）
在阿布扎比举行的Laliga希望之星比赛，皇马小将何塞-雷耶斯闪光，不仅帮助皇马U12夺冠，他还当选赛事最佳射手以及最佳球员。值得一提的是，他是西班牙名将雷耶斯的儿子。
在我的 Distill 论文中，上面提到的这样的信息是：「可视化可以帮助人们理解模型，而准确率却并不能。然而，你需要使用一个任何人都能有直观感受的问题来体现这一点，显然，中文诗歌生成并不是这样的问题」。
曾经，我认为凭借上面提到的这篇论文和我的机器学习硕士学位，就足以申请到博士入学资格，或者是研究型软件工程师、实习项目或者机器学习工程师的职位了。所以我就开始向许多教授发博士申请信，同时向谷歌、微软、Rakuten、ElementAI、英伟达、Hypefactors、英特尔、京东、亚马逊、三星、Shift Technology、Corti 等公司求职。
我对论文进行了重大修改，将修改稿再一次提交给了 Distill。这次，他们更加开放一些。Distill 上的 Chris Olah 和 Ludwig Schubert 在论文进入同行评审环节之前为我给出了非常有用的反馈。
我为什么选择成为一名独立研究者
如何为自己提供资金支持？
同时，自筹 7 个月的研究经费也是有很大风险的。如果最终论文没有发表，我的损失就会很大。作为一名独立研究者，我被录取的机会是低于平均水平的，这是因为我得到的反馈更少。
2019 年 2 月，我回到母校参加了一个人工智能学生社团的开幕式活动，希望与之前的导师谈谈申请博士的事情。但遗憾的是，他也无法为我提供任何的入学机会。
在我的 ICLR 的论文中，这样的信息是：「异构单元之间的门控比它看上去要困难得多，但在解决门控的问题之前还有其他问题需要解决，所以我们会在未来的研究里解决门控的问题」。
研究之路再孤独，也不要失去理智和希望
非常感谢你的邮件，内容非常有趣。一般来说，现在想要申博士学位，没有一两篇顶会顶刊上的机器学习/NLP 论文是相当困难的。你在 Distill 上发表的论文和你在工业领域的经验在一定程度上弥补了这一点。不幸的是，我现在没有可供申请的空缺名额。——来自 QS 全球排名 Top 100 的大学的一名教授。
图 3：本文作者开发的智能手表设备
佛山粤剧院建设项目启动仪式。姬东 摄
下面，我们来看看什么是最重要的！
我如何才能找到自己的研究思路？怎样才能为我自己提供资金支持？这是我到目前为止被问最多的问题。然而，虽然这些问题确实有待解决，但我觉得它们其实没有那么重要。
1. 我通常每周会与 Alexander 就研究思路进行讨论。虽然 Alexander 本人并没有获得博士学位，但他具有非常棒的批判性思维。我并不认为必须和那些有很多一作论文、或者有多年论文指导经验的人交流。重要的是，我们需要和那些能针对我们的研究工作提出问题的人交流。不然的话，我们可能会变得懒惰，对自己论文中存在的错误视而不见。请尽量与别人讨论你的论文，这会给你增加很大的压力，让你不会寄希望于投机取巧。
