在数据库里试试这个笔记本10月9日，我们与Databricks的技术产品营销经理Denny Lee一起举办了一个在线研讨会，培训您的神经网络，使其成为数据科学中心。这是Databricks免费深度学习基础系列的第二次网络研讨会。在这个网络研讨会中，我们讨论了训练神经网络的原则，包括激活和丢失函数、批量大小、数据规范化和验证数据集。我们特别讨论了：超参数整定、学习率、反向传播和过拟合风险优化算法，包括Adam卷积神经网络及其在图像分类和目标识别中如此有效的原因我们在Databricks上使用Keras（TensorFlow后端）演示了其中的一些概念，下面是我们今天开始使用的笔记本的链接：Keras MNIST CNN（下）Keras MNIST CNN（上）您仍然可以观看下面的第1部分，现在注册到第3部分，我们将深入研究卷积神经网络以及如何使用它们：如果您想免费访问Databricks统一分析平台，并尝试我们的笔记本电脑，您可以访问免费试用。最后，我们进行了问答，下面是所有的问题及其答案，按主题分组。基本原理Q： 感知器和人工神经网络、神经元或节点有什么区别？感知器是一个单层人工神经网络（ANN），用作二元分类器。由于神经元通常与生物神经元联系在一起，通常用节点这个词来指代神经网络中的人工神经元。Q： 你如何决定你的人工神经网络（ANN）的隐藏层的数量？人工神经网络需要由四个神经元组成四层，这很普遍吗？ 正如《神经网络随需应变网络导论》和《常见问题解答》中所指出的，虽然起点有一般的经验法则（例如，从一个隐藏层开始并相应地展开，输入节点的数量等于特征的维数等），但关键的是您需要进行测试。也就是说，训练您的模型，然后针对该模型运行测试和/或验证，以了解准确性（越高越好）和损失（越低越好）。Q： 与在线研讨会讨论的卷积神经网络相比，递归神经网络有什么区别？卷积神经网络对于图像数据设计得很好，但是有一个局限性，即它们是针对固定大小的输入和输出向量（例如，输入为MNIST数字图像，可能的输出为10位数中的一个）。递归神经网络（RNN）克服了这一局限性，因为它们是针对向量序列工作的。关于RNNs的一个很好的博客是递归神经网络的不合理有效性。激活函数Q： 在网络研讨会上，你有没有建议不要使用乙状结肠激活功能？ 具体地说，网络研讨会（幻灯片15）中的引语来自Andrej Karparthy（特斯拉AI现任总监）在斯坦福大学的CS231N卷积神经网络视觉识别课程："我应该使用哪种神经元类型？"使用ReLU非线性，注意你的学习速率，并可能监控网络中"死"单元的比例。如果这关系到你，就试试Leaky ReLU或Maxout。不要用乙状结肠。试试tanh，但希望它比ReLU/Maxout更糟糕。一般来说，这是一个很好的经验法则，作为你应该使用什么激活函数的起点。重点应该是使用ReLU、Leaky ReLU或Maxout激活函数，因为它们通常会导致更高的精度和更低的损耗。有关更多信息，请参阅神经网络简介，我们将深入研究激活函数。优化Q： 如果有更好的优化器，比如ADADelta，为什么使用随机梯度下降（SGD）作为优化？在本次网络研讨会中，我们重点讨论了图像分类的特定领域，可以看出使用Adadelta优化器比其他优化方法收敛得快得多。在网络研讨会中也提到，还有其他变量在发挥作用：激活函数、神经网络架构、使用场景等。由于在这个主题上还有更多的研究要进行，因此将有新的策略和优化技术来尝试。Q： 我们什么时候应该使用梯度提升（例如自适应boosting或AdaBoost）而不是人工神经网络的梯度下降？我们什么时候可以用AdaBoost代替ADADelta？自适应Boosting（AdaBoost）是梯度Boosting的自适应技术，是在线学习决策理论的推广，也是Boosting的一个应用。一般来说，这样做的目的是通过过滤掉数据，让学习能力弱的学习者更容易地处理数据集，从而提高学习能力差的学习者（只比随机机会做得稍微好一点的学习者）。虽然目前的研究指出，人工神经网络更简单、更快地收敛，但也要注意的是，这远不是一个明确的说法。例如，本文比较了18F-FDG PET/CT图像对非小细胞肺癌纵隔淋巴结转移进行分类的机器学习方法，发现CNN更方便，使用Boosting理论对Deep ResNet块进行顺序学习的文章指出，与Deep ResNet中的端到端反向传播相比，BoostResNet算法的计算效率更高。虽然这是两篇完全不同的论文，但重要的是，在这个令人兴奋的领域，还有更重要的工作要做。Q： 在处理倾斜数据时，如何调整模型？在卷积神经网络的背景下，这里描述的问题是一个类不平衡问题。本课题的一篇重要论文是对卷积神经网络中类不平衡问题的系统研究。总的来说，阶级失衡的影响是相当大的，过采样是目前解决这一问题的主要机制。资源机器学习101Andrej Karparthy的ConvNetJS MNIST演示什么是神经网络中的反向传播？CS231n：用于视觉识别的卷积神经网络教学大纲和幻灯片|课程笔记| YouTube特别关注CS231n：第7讲：卷积神经网络神经网络与深度学习张量流深度可视化工具箱张量流反向传播TensorFrames:googletensorflow与apachespark将深度学习库与apachespark集成轻松构建、扩展和部署深度学习管道免费试用Databricks。今天就开始吧