《跟李沐学 AI》AlexNet论文逐段精读学习心得 | PyTorch 深度学习实战 ...

前一篇文章，利用 AlexNet 实现图片分类 | PyTorch 深度学习实战
本系列文章 GitHub Repo: https://github.com/hailiang-wang/pytorch-get-started
本篇文章内容来自于学习 9年后重读深度学习奠基作之一：AlexNet【下】【论文精读】】的心得。

  
ImageNet Classification with Deep Convolutional Neural Networks

https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

关于 AlexNet 工作原理的博客： https://readmedium.com/alexnet-explained-a-step-by-step-guide-93870b45126b
视频学习感悟

• 没有须要学习前人的太多东西，因为许多东西是错误的，学习它们反而限定了本身的思绪1
  
• 工程能力很强才能验证本身的猜想，验证本身的猜想才能创新；光有猜想而没有能力验证即是空谈
  
• 只要你的东西足够新，即使有许多说法是错误的，别人也会相信，关键是能 work，方法就是好过现在的，至于为什么可以逐步等候时间，这个和牛顿莱布尼茨利用微积分，而微积分的严谨要一百多年后由柯西增补是一样的
  
• 不要畏惧学术工作，学术工作必要你：学习数学2，掌握编程，并且要勤奋。
  

视频学习知识履历

• 颠末了 2012 ~ 2021 年的探索，人们终极发现，主要的贡献在于大规模的数据集和算力本身，一些本领证明不是大模型可练习的关键因素。
  
• 正则化手段去处理过拟合，不是最关键的，最关键的是网络的架构设计，网络的架构好，就会让模型更容易练习
  
• 首先要说本身实现了什么东西，好比在哪些地方超过了别的的模型和方法。然后，再说本身是怎么做的。
  
• 论文前面的内容要高屋建瓴，细节放在第 3、4 章去写。
  
• 论文的核心观点是：用 CNN 来做图像分类，然后履历是如何将 CNN 做的特殊大。
  
  
  
  • 利用多 GPU，论文仲利用的显卡是 GTX 580 3GB, 两张。所以，该显卡在当时也不是很先辈，而且要将模型切开，放在两张卡，所以，该论文的研发照旧工作量很大 3
    
  • 利用一些技术来降低过拟合
    
  • 结果好只是一些方面，一些工程上的劳动也大概做出好结果，但是这意味着没有算法上的创新，学术主要看算法的创新
    
  • 利用 RGB 做成向量，进入模型，被称为 RAW 模式 4 。还有一种模式，是把图片提取特征，常见算法是 SIFT。一些研究方向，https://github.com/christiansafka/img2vec， https://scikit-image.org/docs/stable/auto_examples/features_detection/plot_sift.html
    
  
  
• 这个项目 Alex 对比了 ILSVRC-2010 和 ILSVRC-2012 两个数据集的结果。
  
• 论文中，重点夸大了利用 ReLU 作为激活函数，Hinton 在一次访谈中 5 ，坦陈挑选到 ReLU 花了十年的时间
  
• 论文中的参考文章并不多，这个文章的写作团队很牛，作为一个创新的团队，没有须要研究前人的许多东西，因为前人的许多东西也是错误的，研究了许多以后本身反而被限定，那么灵感泉源于哪里？灵感泉源于对附近世界的观察和一些更为成熟的行业，好比人工智能范畴内的许多发明来自于更成熟的通信行业6
  

---

   

• 自然界的宝库和秘密，就在我们眼前，必要我们多问题目。用好奇心探索，就像达芬奇，并没有学习他地点时代的前人精华太多，主要靠自学，从观察身边的事物开始。https://www.bilibili.com/video/BV1iG411K7ma/ ↩︎
  
• 主要是微积分、概率论、线性代数。 ↩︎
  
• 实现一篇高质量的论文，照旧必要通过工程手段验证猜想，无论结果是证实照旧证伪，都是有价值的，关键是猜想本身是一个好的猜想，有新意。首先是好的猜想，然后工程能力是必不可少的。如果有很好的猜想，却无法证实或证伪，这个就是玄学，玄学不是科学。 ↩︎
  
• 不做任何特征提取，直接将原始的图片、文本作为练习模型的输入，被称为 End to end 练习。 ↩︎
  
• Hinton 回顾与 Ilya 的初次见面和相助，https://www.bilibili.com/video/BV1xM4m1k7ZJ ↩︎
  
• 许多论文发布，只是作为一些经典论文的陪衬，因为它们的作者是通过一些经典论文，并研究其中的不敷之处，然后发布的。真正的有价值的论文其实不多，这些论文的灵感是来自于作者的好奇心大概从别的行业汲取的宝贵履历。 ↩︎
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。