一、神经网络的学习问题研究（论文文献综述）
林露樾[1]（2021）在《基于隐变量增强的图像分类数据有效学习算法》文中认为在过去的许多年里,人们在图像分类（Image categorization）领域已经取得了巨大进步,尤其是基于卷积神经网络（Convolutional neural network,CNN）的图像分类算法,在现有的图像分类任务上取得了最好的性能。然而,现有的基于卷积神经网络的图像识别算法都基于两个假设:第一个假设是存在着一个大规模的（large-scale）的图像训练集用于训练整个卷积神经网络;第二个假设是来自测试集的图像样本和训练集的图像样本都是独立同分布的（Independent and identically distributed,i.i.d.）。然而,在现实生活的一些应用中,并不存在一个大规模的训练集。换句话说,人们不得不利用少量的样本来训练一个卷积神经网络。这类问题被称为数据有效学习（data efficient learning）问题。本文关注的问题是图像分类中的数据有效学习问题,亦即,在样本不充分的情况下的,我们训练一个卷积神经网络以执行图像分类任务。为了解决这问题,一种直觉就是利用增加样本个数的方法,进而解决样本不充分的问题。为此,这篇论文创新性地提出了隐变量增强（Latent variable augmentation）算法,即通过隐变量增强算法,间接地增加训练样本的个数,进而提升在样本不充分下的图像分类精度。本文首先提出了两种基于隐变量增广的图像识别数据有效学习算法。第一个方法称为基于生成对抗网络的隐变量增强算法（latent variable augmentation method based on generative adversarial networks,Lavagan）。第二个方法称为基于变分自编码的分类算法（classification method based on variational auto-encoders,Cevae）。这些算法主要包含了两个任务:一个是基于自适应隐变量分布的隐变量增强任务。通过这个任务,一方面,我们可以得到多个可靠的隐变量分布;另一方面,基于这些隐变量分布人们可以增加样本的个数,并以此提高模型的泛化能力;另外一个任务是将增强的隐变量应用于分类任务中。接着我们考虑了上述的两个任务,进而为上述两种算法分别提出了一个统一的目标方程,以使得上述的两个任务相互协作。再而,为了求解模型的参数,本文分别提出了一个交替双玩家最小化博弈优化算法（Alternative two-player minimization game optimization method）以及变分随机梯度下降（Variational statistical gradient decent,VSGD）来最小化上述目标方程,最终求出模型的参数。进一步地,为了证明算法的有效性,这篇论文分别使用了霍夫丁不等式（Hoeffding’s Inequality）和切尔诺夫界定方法（Chernoff Bounding method）,分析了算法的经验误差上界。最后,我们在现有的图像数据集上实施了本文提出的算法,并且与现有的算法进行比较。实验发现本文提出的Lavagan算法和Cevae算法在数据有效学习问题设定下能对数据作出预测,这表明了算法的可行性。此外,与现有的算法实验结果进行比较,本文提出的Lavagan算法和Cevae算法输出了更好的性能,这验证了 Lavagan算法和Cevae算法在面对数据有效学习问题时是有效的。本文的主要工作可以总结成如下四点:（1）我们创新性地提出了两种不同的隐变量增强算法,分别是Lavagan算法以及Cevae算法,以解决图像分类数据有效学习问题。通过隐变量增强,人们可以提高在样本不充分情况下卷积神经网络的泛化能力。并且据我们所知,本文是第一个提出通过隐变量增强思想以提高在图像分类数据有效学习这个问题下的分类器性能。（2）在本文提出的Lavagan算法以及Cevae算法中,我们分别为其提出了一个统一的目标模型。这个模型主要关注了两个任务。第一个任务是,模型从一系列自适应并且受约束的隐变量分布中采样出大量的隐变量。第二个任务是,模型将上述采样得到的隐变量用于训练一个图像分类器。为了优化上述目标模型,本文分别利用了交替双玩家最小化博弈优化算法以及VSGD算法,通过最小化上述目标模型,进而得到算法的参数。（3）为了从理论层面上验证本文提出的隐变量增强算法面对数据有效学习问题时是可行的且有效的,我们使用了霍夫丁不等式和切尔诺夫界定方法,分析了本文提出的基于隐变量增强的图像分类算法的经验误差上界,以及传统卷积神经网络的经验误差上界。通过对比人们可以发现,本文提出的算法的经验误差上界小于传统的卷积神经网络的经验误差上界。这表明,本文提出的算法是具有可行性以及有效性的。（4）为了从实际应用中验证本文提出的隐变量增强算法面对数据有效学习问题时是可行的且有效的,我们在现有公开的图像数据集上实施了本文提出的Lavagan算法以及Cevae算法,并且将结果与现有的针对样本不充分的图像分类算法的实验结果进行比较并且对结果进行分析。经过比较,人们可以发现对比其他算法,本文提出的算法取得了更好的分类性能,并且本文提出的隐变量增强算法具有可行性。
张宸鹏[2]（2021）在《回复式神经网络若干关键问题研究》文中进行了进一步梳理回复式神经网络（Recurrent Neural Networks,RNNs）是深度学习领域中的一种基础的人工神经网络,其作为处理序列数据的记忆模型被广泛应用。如何处理好梯度消失与梯度爆炸问题一直是训练RNN的关键和难点。长久以来,人们提出了多种方法来解决RNN训练时的梯度问题,不断设计新的RNN变体用以处理更长的序列。尽管许多经典的模型已经被提出,如何使RNN模型在快速应对序列中短期变化的同时捕获并学习到序列中更长的依赖关系仍然是一个挑战。该研究以深度学习、神经网络、梯度反向传播算法相关知识为理论基础,以分治不同尺度的依赖为研究方向,结合多种不同类别RNN的设计思路,解决RNN难以同时学好长期和短期依赖的问题。文章针对几个典型的RNN进行了深入的研究,提炼出其中的关键的思想理论与设计动机,并在其基础上,提出了两种新型的回复式神经网络结构:（1）本论文提出了基于多层RNN中不同尺度依赖分布规律设计的成对回复式神经网络DuRNN。DuRNN方法依据多层RNN的依赖分布倾向性理论,使用了分层分治依赖的策略,使得长期和短期依赖被不同层的回复连接结构捕获,进一步提升了其对依赖的学习效果。与LSTM相比,DuRNN可以适应更长的序列,同时也能够快速应对短期变化。文章对提出的回复式神经网络进行了全面的分析,并使用了一些具有代表性的实验对模型进行了验证。（2）本论文提出了结合双向回复式脉冲网络BRITS和独立回复式神经网络Ind RNN两者特点的双向独立回复式脉冲网络BIRITS。BIRITS模型利用BRITS模型中的双向连接策略,弥补了独立回复式神经网络神经元相互作用不充分的缺陷。同时BIRITS可以使得长期和短期的依赖关系在时序和非时序两个方向上分别被学习,提升了网络在复杂任务上的表现。两种提出的回复式神经网络结构以不同的方式,在不同程度上分治了序列中的依赖,但都提高了RNN学习序列信息的能力。两种网络还可以结合起来使用,形成合力,取得更优秀的表现。
袁晨晖[3]（2020）在《深度卷积神经网络的迁移学习方法研究与应用》文中研究指明随着深度学习的不断发展,深度卷积神经网络被成功应用到众多领域。然而深度卷积神经网络是以海量标注数据为支撑的,由此带来了较为困难的数据搜集以及标注问题。此外,传统机器学习算法普遍要求训练集与测试集服从独立同分布的条件,但是实际情况难以满足。迁移学习利用已有知识解决不同但相关领域的问题,同时不受训练集和测试集满足独立同分布条件的限制,激发了我们使用迁移学习来解决深度卷积神经网络对标注数据的依赖问题。因此,研究如何将深度卷积神经网络应用到迁移学习具有非常重要的意义。本文分别针对带标签小数据集下的迁移学习任务、领域自适应任务以及零样本学习任务提出了新的迁移学习方法,主要工作如下:（1）介绍本文的课题背景以及研究意义,调研国内外关于深度卷积神经网络的迁移学习的研究现状,介绍迁移学习在不同条件下的方法以及深度卷积神经网络模型等相关技术。（2）当源域和目标域都有标签,但任务不同时,针对现有方法在微调过程中忽视模型在目标域的特征识别力的问题,提出了一种基于改进Res Net的深度迁移学习方法。将Res Net-34作为源模型,通过添加一个调整模块提高模型的特征识别力,减小源域和目标域之间的内容差异性。实验结果表明,基于改进Res Net的深度迁移学习方法在训练集和测试集上的识别精度均有提高。（3）由于收集充分标注数据代价昂贵,领域自适应作为一种迁移学习方法,旨在解决源域有标签、目标域无标签,源域和目标域任务相同的问题。现有深度域适应方法在减小域偏差时仅适配完全连接层,忽视卷积层的空间信息和语义上下文信息造成迁移过程中重要信息丢失,因此提出了一种基于PE散度实例过滤的深度域适应方法。利用PE散度删除易造成负迁移的源域样本,使用最大均值差异准则联合匹配卷积层和完全连接层的边缘概率分布以解决欠适配问题,同时引入权值正则项。最终通过实验验证了所提算法能够减小源域和目标域的分布差异,提高域适配能力。（4）领域自适应的前提是源域和目标域类别相同,零样本学习作为一种迁移学习方法,处理的是训练集和测试集类别不同的问题,目的是在测试阶段识别出训练集中未曾出现的类别样本。针对现有方法在测试阶段不能很好地表达和区分未见类样本,提出了一种基于属性平衡的深度集成零样本学习方法,通过类语义迁移层建立属性与标签的关系,引入属性平衡约束项来平衡可见类与未见类关联的属性,然后通过集成网络学习多个分类函数,增强了分类器的多样性,在三个主流的属性数据集的零样本学习任务上,均取得了较好的性能。
王应灿[4]（2020）在《基于门控神经网络的算法学习问题研究》文中指出算法学习问题作为人工神经网络以及人工智能应用的主要问题之一,指的是计算机只训练样本的输入输出进而对未知算法进行拟合的问题。算法学习问题要求模型具有长时间记忆的能力,而作为具有循环结构的门控神经网络,更新门以及遗忘机制的设置使得门控神经网络具有长时间记忆的能力,因此门控神经网络适合应用于算法学习问题。但仅仅使用标准的门控神经网络完成算法任务时,发现两个问题:一是网络中激活函数的选择导致网络运行速度变慢;二是网络中固定的学习率导致网络收敛速度变慢。针对在使用网络模型完成任务时出现的这两个问题,本文做了如下工作:首先,对门控神经网络进行了综述与分析。在对循环神经网络结构与实现功能介绍的基础上,给出了门控神经网络提出的背景。同时结合算法学习问题,分析了门控神经网络在处理这类问题时的缺陷及改进原因。通过分析发现影响门控神经网络在算法学习问题上的表现主要集中三个因素:网络结构、激活函数以及学习率。从而下一步对门控神经网络的优化主要基于这些因素。其次,研究并改进了门控神经网络中激活函数。为了通过减少网络计算量减轻网络负担,文章引入了门截断机制的硬限幅函数以及其变体代替原网络中sigmoid激活函数。相比之下,改进后的函数不仅具备原激活函数的主要性质,较之前的激活函数计算简便,减少了网络的运行负担。然后,考虑了门控神经网络中学习率的改进。改进了学习率衰减方案,优化了因为学习率固定带来的网络收敛速度变慢的问题。对比原学习率衰减方案,新的学习率衰减方案在应用中具有更快的收敛速度。使用学习率衰减方案代替门控神经网络中的固定学习率,既保证了门控神经网络参数更新方式不发生本质改变,又提高了网络收敛速度。最后,实验结果表明,只使用本文提出的激活函数替代方案时,与门控神经网络相比,网络的训练速度至少提升了 10%;只使用本文提出的固定学习率替代方案时,与门控神经网络相比,网络训练的收敛速度至少提升了6%;在使用学习率衰减方案以及激活函数替代方案后,网络收敛速度至少比原门控神经网络快6%,训练速度比门控神经网络快8%。
张付凯[5]（2020）在《基于确定学习理论的非线性系统智能控制方法研究》文中研究说明由于大脑高度发达,人类能够轻松准确地应对各种各样的复杂事件。人脑被认为是最复杂同时也是最智能的系统,主要表现在:“边做边学”,即在工作过程中完成学习,并将学到的知识记忆/存储在大脑中;“学以致用”,即存储的知识可以在新的任务中作为经验得以应用。受此启发,人们提出高级的智能控制方法,如神经网络控制等,用来处理动态环境中复杂系统的控制问题。智能控制的一个主要特点是具有足够的关于人的控制策略、被控对象及环境的有关知识以及运用这些知识的能力。然而,在实际应用中,动态环境中的学习问题被认为是自适应和学习控制领域最困难的问题。同时,具有自主学习能力的智能控制问题也是动态环境下人工智能研究的一个难点。此外,随着科技的进步,生产工况环境变得越来越复杂且多样化,而且对控制品质也提出了更高的要求。这些实际问题无疑对智能控制技术的发展提出了诸多的挑战。鉴于此,本文将基于确定学习理论及现有相关研究成果,针对未知动态环境中复杂非线性系统的学习、决策与控制问题,开展以下几个方面的研究:1.研究一类具有代表性的纯反馈非线性系统的自适应神经网络动态面控制与学习问题。首先,综合动态面控制技术和确定学习理论,在控制器设计过程中避免了对虚拟控制的复杂求导,通过递归分析建立RBF神经网络的部分持续激励条件。所设计的自适应神经网络动态面控制器,不仅确保了系统的稳定性和跟踪误差的收敛,而且实现了对闭环未知动态的局部准确辨识/学习。随后,利用所学知识设计一个经验控制器,避免了估计参数的重复训练过程,有效地改善了系统的控制性能。该方案部分解决了高阶纯反馈系统的确定学习控制问题,并通过仿真验证了所提方案的有效性。2.研究纯反馈非线性系统基于观测器的自适应神经网络控制与学习问题。首先,引入一种系统转换技术,借助观测器,提出了一种简单的自适应神经网络控制方案保证了系统的稳定性和跟踪性能。特别地,该方案中仅使用一个神经网络逼近器。此外,所提方案避免了学习过程中的递归分析过程,通过确定学习较为轻松地实现了对转换系统闭环动态的局部准确辨识。然后,利用获得的知识进一步提出一种新的学习控制方案,实现了更好的控制性能,同时大大降低了计算负担。以连续搅拌釜式反应器应用系统为仿真对象,仿真结果验证了所提方案的有效性。3.针对一类具有多种控制情形的纯反馈非线性系统,提出了一种基于模式的智能控制方案。首先,基于确定学习理论,利用设计的自适应动态面控制器对不同控制情形（模式）下的闭环系统未知动态进行准确辨识/学习,并利用学到的知识为所有控制情形构造一个基于模式的经验控制器库。其次,在当前正常控制器作用下,通过确定学习准确获取不同控制情形下的子系统动态知识,并利用获得的知识构造一系列动态模型实现对不同控制情形的精确分类。然后,当控制情形突变时,基于动态模式识别策略实现对控制情形突变的快速准确识别,并从构造的控制器库中选择正确的经验控制器,确保了系统的稳定性和优越的控制性能。仿真结果表明所提方案不仅像人类一样实现了对知识的获取,而且能够利用经验知识实现快速决策和高性能的控制。4.研究带预设性能约束的纯反馈非线性系统基于模式的学习与控制问题。首先,综合系统转换和误差转换技术,提出了一种带指定性能的自适应神经网络控制方案。所提方案不仅保证了系统的稳定性和预设的跟踪性能,即同时确保了系统的瞬态和稳态性能,而且在自适应控制的过程中实现了对转换系统闭环动态的局部准确辨识/学习,并利用在不同控制情形下学到的知识构造一个基于模式的经验控制器库。然后,借助观测器,在正常控制器作用下通过确定学习实现对不同控制情形下转换系统动态的准确建模。特别地,所提方案避免了对原始系统所有子系统的学习训练,大大减少了神经网络训练的数量。随后,利用建模知识构造一组动态估计器用于对不同控制情形的精确分类。当控制情形突变时,通过比较被监测系统和动态估计器,从而获得识别残差,基于最小残差原则实现对突变控制情形的准确识别。基于识别结果,快速决策并切换与突变模式相对应的经验控制器以保证系统的稳定性和高性能的控制,同时满足指定的性能约束条件。仿真结果验证了所提方案的有效性。5.研究一类采样仿射非线性系统的自适应神经网络控制与学习问题。目标是将确定学习控制理论从连续时间系统推广到更加符合实际应用的采样数据系统。为了实现学习,首先提出一种新颖的自适应神经网络控制方案,基于李雅普诺夫定理确保了系统的稳定性和跟踪误差的收敛。此外,引入一种状态变换方法,克服了未知仿射项给学习带来的困难。通过确定学习在稳定的自适应控制过程中实现了对闭环采样动态的局部准确逼近/学习。随后,利用学到的知识,进一步提出一种新的采样学习控制方案,实现了响应速度更快和跟踪误差更小的优越控制性能。最后,通过对摆平衡系统和两关节机械臂系统的仿真实验验证了所提方案的有效性。
李琳[6]（2020）在《数字音乐营销中的推荐系统关键方法与技术》文中指出流媒体音乐的增长和普及改变了人们的音乐消费方式,用户可以随时随地收听在线音乐,这种变化趋势促使数字音乐的营销模式逐渐向以“用户为中心”的个性化营销转变,推荐系统的诞生使其成为可能,通过融合多种推荐算法/策略（用户画像、协同过滤、内容过滤等）捕捉用户的兴趣偏好,并将感兴趣的内容推荐给用户。然而,与其他类型的推荐内容相比,数字音乐中存在诸多独特性和挑战性问题,导致现有推荐算法未能发挥很好的营销效果。为此,如何提出切实有效的音乐推荐算法,用于提升数字音乐的营销效率,是众多音乐平台亟待解决的核心问题之一。在音乐偏好理论和推荐技术的研究基础上,作者利用大数据和机器学习技术对用户属性、歌曲元数据及用户行为进行深度挖掘,提出了一系列个性化、精准化和智能化的音乐推荐算法,为数字音乐在内容分发、用户体验和商业变现等方面发挥了关键作用,达到了降本增效的营销目的,也为其他内容领域的营销优化策略提供了实践指导和借鉴意义。同时,本论文的研究成果也进一步拓展了营销理论和服务科学的应用范畴,为推动数字音乐产业的持续发展注入了新的动力。具体来讲,论文的研究内容和主要创新点包括:（1）针对数字音乐营销中的行为数据稀疏性,导致无法充分挖掘用户音乐偏好特征,提出了融合内容表示的度量排序学习推荐算法（CRMRL）。主要创新点:当前主流推荐算法仅能挖掘用户与歌曲之间的一般性关系,无法从全局和细粒度层面区分用户对歌曲局部特征的偏好程度。加之,大量新上架歌曲和冷门歌曲导致模型在不同数据稀疏度下的鲁棒性下降。为此,作者利用观测和未观测行为数据构造相对偏序关系,使模型得到充分训练,同时构建与推荐任务相关的音频特征提取子模型,以进一步缓解数据的稀疏性问题,最后通过度量学习挖掘用户与歌曲之间的偏好关系。与现有推荐算法相比,CRMRL算法解决了数据极端稀疏场景下的推荐问题,能够充分挖掘用户的音乐偏好特征,其研究成果可用于提升新上架歌曲冷门歌曲的曝光率及营销投入的产出比,并激发音乐艺术家的创作热情。（2）针对音乐偏好具有的差异性和动态性,缺乏不同用户对同一首歌曲的偏好差异识别,提出了基于多层注意力表示的音乐推荐算法（HARM）。主要创新点:当前业内方法只能做到一般意义上的时序关系挖掘,忽略了“不同用户对同一首歌曲多维特征的关注点和差异程度均有所不同”,导致推荐算法在个性化程度更高的音乐收听服务中的准确率下降。为此,本论文利用自注意力网络和循环神经网络等技术,从用户属性和歌曲内容中多维度学习歌曲的嵌入式表示,用于识别不同用户对同一首歌曲的偏好差异性,以及用户在收听会话中对不同歌曲的感兴趣程度。与现有推荐算法相比,HARM算法实现了用户音乐偏好的多维度捕捉,从而提升模型预测下一首歌曲的精准度,其研究成果可用于下一首歌曲等推荐任务,为用户带来个性化程度更高的音乐收听服务,提高用户对音乐平台的满意度和付费意愿。（3）针对隐式反馈行为中存在着大量的噪声数据,未考虑从细粒度层面识别歌曲局部噪声的影响,提出了基于注意力机制的时序推荐算法（ASR）。主要创新点:当前业内方法只停留在全局层面的注意力机制研究,使得模型只擅长处理长会话数据的推荐场景,当面临短会话数据时推荐质量急剧下降。为此,本论文优先刻画歌曲的局部特征信息,利用卷积神经网络提取歌曲的高层语义特征,然后将上一层提取的歌曲高层语义特征,按照用户收听的时间序列重新形成会话时序列表,以构建基于注意力机制的双向循环神经网络模型,使其能够降低噪声数据的影响并学习歌曲之间的强依赖关系。与现有推荐算法相比,ASR算法在不同会话长度下的鲁棒性显着增强,有效提升了模型在噪声数据影响下的推荐质量,其研究成果可用于每日歌单推荐自动播放列表等推荐任务,增强用户对本次音乐收听主题的感知价值。
潘哲逸[7]（2020）在《城市时空数据预测中的深度元学习算法研究》文中研究指明在大数据时代,数据是科技发展和社会发展的重要燃料。近年来,随着移动感知技术的发展,城市中时空数据的收集量呈现出爆炸式的增长,越来越多的企业和政府部门意识到这些数据的潜在价值。与传统数据的形式不同,这些时空数据包含城市中各个地点的空间静态属性和其时间动态读数,可以反映城市的变化状态,所以,预测城市时空数据并从中挖掘出有用的知识,是利用数据创造价值的重要途径。它可以帮助解决现代城市发展过程中面临的诸多问题,如交通拥堵、空气污染、能耗增加等等,从而提升城市运行效率、居民生活幸福感,因此,时空数据的准确预测是现代城市通向智能化的重要一步。在时空数据预测这个前沿领域,科研人员已经发表了大量成果。在深度学习技术重新崛起之前,传统机器学习算法在该领域占据主导地位。但是,传统机器学习算法自身的模型复杂度较低,它们依赖于大量精心设计的手工特征,才能进行有效的时空数据建模。所以,受此限制,传统机器学习方法的通用性较差。近年来,随着硬件计算能力的提升和海量时空数据的积累,深度学习技术给时空数据建模领域提供了新的研究方向。现有的深度学习模型致力于从时空数据中学习时空相关性,通过用神经网络提取时空特征,来提升预测准确度。但是,获取的数据只是时空相关性的一种表象,而时空相关性的产生本质上受到其他更复杂的因素的影响（如地区的功能和特性等）。当前的这些工作只是简单地从表象数据中拟合时空相关性,而并未考虑这种时空相关性产生的原因。为了深入研究数据中的时空相关性,本文首先提出了时空相关性的多样性问题、空间信息与多样时空相关性的关联问题、时序信息与多样时空相关性的关联问题,以及时空神经网络结构的自动化设计问题。为了解决上述问题,本文分别提出方案来提升时空神经网络模型的预测能力。首先,在时空相关性的多样性问题研究中,本文提出了一个通用、轻量的时空深度学习框架。该框架采用神经网络参数矩阵低秩分解的方案,可以从数据中学习区域特性,并为每个区域生成各自的预测网络参数权重,来帮助现有的神经网络模型建模多样的时空相关性,并提升预测准确度。然后,在空间信息与多样时空相关性的关联问题研究中,本文提出了一个基于神经网络参数元学习的框架。这个框架从空间信息中学习与时空相关性有关的元知识,并用该元知识生成时空神经网络模型的参数权重,从而建模空间信息与时空相关性的关联。接下来,在时序信息与多样时空相关性的关联问题研究中,本文提出了一个基于神经网络参数元学习的框架。该框架从时序信息中学习与时空相关性有关的语义信息,并将其与空间信息中的元知识相结合,共同生成时空神经网络模型的参数权重,从而进一步建模时序信息与多样时空相关性的关联。最后,在时空神经网络结构的自动化设计问题研究中,本文整理了时空数据建模中的基础神经网络结构,用它们构建神经网络模型的搜索空间,然后用可导神经网络结构搜索算法,自动搜寻时空神经网络结构。此外,本文也在该搜索算法中引入了参数权重元学习模块,从而建模多样的时空相关性。本文以城市区域流量预测和路网交通速度预测任务为支点,验证上述的技术方案,以此说明这些方案的优势以及本文的贡献。
李存志[8]（2020）在《基于核极限学习机自编码器的多标记学习》文中研究说明最初,多标记学习是为了解决文档分类过程中遇到的语义分歧问题,自提出以来已逐渐成为数据挖掘和信息检索中的重要主题。现实生活中遇到的很多分类问题都和多标记相关,多标记学习的主要特征是增加了样本分类的种类,从之前的单一标记变成了多个标记,使得对样本的描述更加准确。在多标记学习中,样本空间有限信息的有效利用一直是许多学者的研究方向,为了提升算法的健壮性以及提取数据特征的效率,许多学者都在不同方面做了新的优化建议。研究表明特征重构在一定程度上能够提升算法性能,故将特征空间和标记空间信息结合统一。针对传统自编码神经拥有层级较为复杂计算过程,使得算法时间复杂度相对较大,引入了核极限自编码器。在现实世界中,标记之间往往存在一定的隐含关系,对标记之间的关系进行分析也是多标记学习研究的热点。基于此,本文展开研究,主要工作如下:（1）多标记学习算法的重难点是如何准确获取到各组待训练的样本标记信息之间存在的关系,在此基础上去得到未知数据集合的预测结果,简单来说就是借助已有数据集合提取数据关联关系,进行推算得到预测结果。考虑特征与标记联合重构的特征能够提升算法的分类性能,提出一种核极限学习自编码算法（ML-KELMAE）。本文采用一种核极限学习机自编码神经网络,首先在神经网络输入节点中加入标记信息,然后使用核极限学习机自编码神经网络把输入特征作为目标输出,最后采用奇异值分解解决分类问题。在多个多标记基准数据集上的结果显示,该方法具有一定的优势。（2）在现实世界中,标记集合中的个体与个体之间往往存在着一定的隐含关系,他们之间的这种关系对分类结果或多或少都有一定影响。因此,在进行算法分类时把关联关系因素加入到考虑中是十分有必要的。故在ML-KELMAE算法的基础上加入标记相关性因素,在原始标记矩阵中加入标记相关性信息,得到的矩阵代替原始矩阵。在算法对标记相关性特性进行优化的基础之上,加入了标记与特征相关因素的考虑。在本文选定的测试集上进行了测试,实验结果证明了加入标记相关性提升算法性能的合理性和有效性。
封乃丹[9]（2020）在《面向复杂时变信号分析的动态神经网络模型与算法研究》文中指出时变信号分析和处理一直以来都是模式识别领域的一个热点和难点。随着感知技术、物联网技术的快速发展,对时变信号变化特征的准确分析和时频信息的充分利用变得日益重要。动态神经网络具有很强的的辨识和学习能力,能够逼近任何非线性输入输出关系,在信号处理中有重要的价值和作用。本文针对若干领域中复杂时变信号的分析问题,根据时变信号所呈现的分布特征和结构性质,以及在不同实际环境下具有的复杂性、不确定性、非平稳性、含噪声等特点,融合深度学习理论和信号时频分析技术,开展面向复杂时变信号分析的深度动态神经网络模型与算法的研究。因此,本文研究具有重要的理论意义和应用价值。论文完成的主要工作和创新点如下:（1）针对可反映一个短时间片段内的信息变化、具有多变性、不稳定性并含噪声等特点的短时变信号的特征提取和分类问题,提出了一种深度小波循环卷积神经网络（DWRCNN）模型与算法。DWRCNN模型可融合小波变换和软阈值处理对信号时频特征的捕获能力、循环神经网络对时间序列变化特征的学习与记忆能力,以及卷积神经网络对大规模数据集的学习性质和分类机制,对短时复杂信号的模式识别具有良好的适用性。（2）针对具有连续性、非平稳性和无限性的单通道长时变信号分析问题,提出了一种多特征融合的长短期记忆网络（ILSTM）模型与算法。ILSTM模型增加了对信号多尺度特征的提取和融合分析机制,能够同时兼顾对长时变信号广域特征和局域特征的学习,具有对特征信息关联和长短时特征变化的记忆能力,可进行在线学习与预测。（3）针对具有不稳定、不精确、不完整、含噪声等各种不完备信息的非周期性多通道长时变信号分类问题,提出了一种T-S过程神经网络（TSPNN）智能分析模型与算法。TSPNN模型融合了过程神经网络对时变信号的处理能力与T-S模糊分类机制,可实现专家经验知识的嵌入,具有对样本集的自适应学习能力,适用于小样本集建模。（4）针对样本分布不均匀、多模态、具有随机性分布特征的周期性多通道长时变信号分析问题,提出了一种概率计算过程神经网络（PCPNN）智能分析模型与算法。PCPNN模型可融合过程神经网络时变信息的处理机制和贝叶斯决策规则,所建立的算法综合了动态时间规整、C均值聚类和BP算法,能够集成信号类别的特征知识,模型参数少,适用于小样本、不均衡数据集的建模分析。本文针对上述诸多问题提出了一系列动态神经网络模型和算法,能够提取复杂时变信号的本质特征和变换规律,在机制上具有良好的针对性和适用性。实验验证了本文各模型的可行性与有效性。
汪跃[10]（2020）在《深度强化学习中的随机算法研究》文中提出近年来,深度强化学习通过结合强化学习和深度学习技术,已经在许多序列决策问题中成功应用,如围棋,电子游戏,机器人控制,自动对话系统等。强化学习通过将实际中的序列决策问题抽象建模成马尔可夫决策过程,设计算法解决策略评估和策略控制两大类问题。深度学习利用深度神经网络的强大表达能力,可以自动化地抽取实际问题中数据的特征。二者结合而成的深度强化学习因此具有了在复杂实际问题中自我学习,自我提升的能力。在本文中,我们将从三个角度,分别研究强化学习中的策略评估问题,策略控制问题和深度学习中深度神经网络相关的算法性质。其中策略评估问题是整个强化学习问题的基础,主要研究如何高效评估一个给定的策略。有了对于策略好坏的评估,策略控制问题的目标是设计算法找到最优策略,因此也是强化学习解决问题的核心。而深度强化学习近期的成功,一个非常重要的因素就是深度神经网络的发展,高效的神经网络训练算法在其中起到了不可或缺的作用。本文的目的是通过运用数学工具,分析、理解并改进深度强化学习中的随机算法,这将有助于我们有针对性地改进已有算法以及提出更高效的新算法,对于深度强化学习领域具有重要意义。本文的第一个工作主要关注策略评估问题。策略评估问题中基于梯度算法的理论分析在此之前一直局限于一系列强假设下,如数据独立同分布等,导致理论分析与实际并不吻合。针对实际问题中数据非独立同分布的情况,本文首次解决了策略评估问题中常用的基于梯度的时间差分算法（GTD）是否收敛以及收敛速率如何这一公开问题。为了解决这个问题,考虑到强化学习问题的数据天然服从马氏性而非独立同分布,本文引入混合时间等数学工具来刻画数据非独立同分布的属性。之后本文通过为更一般化的鞍点问题设计全新的误差分解公式,首次给出了一般鞍点问题中一阶梯度下降算法在数据非独立同分布时的收敛速率。最后更进一步给出了GTD算法的收敛速率的精确刻画,并从多个角度讨论了影响GTD算法收敛性的因素,从而给现有算法提供了更严格的收敛性保证。本文的第二个工作主要关注策略控制问题中的迁移学习。在策略控制问题中,一个受到广泛关注的领域是如何进行迁移学习,像人类一样利用已经学习到的知识来加速新问题的求解。过去相关的迁移强化学习工作大多没有理论保证算法的有效性,经验性设计的迁移操作会带来潜在的负面影响,并且没有利用强化学习自己的算法特点。本文通过理论分析策略控制问题中一类非常重要的算法,Q学习及其变种形式的收敛性情况,发现了影响收敛速率的关键性因素与Q学习中的目标Q函数密切相关。因此本文提出了一个基于目标Q函数的迁移学习算法,名为迁移目标Q学习。为了避免不合理的迁移操作带来的潜在负面影响,本文根据理论结果,合理设计误差条件,并且证明了在验证误差条件的情况下,本文提出的迁移目标Q学习可以保证迁移操作的有效性。最后,我们在多种序列决策实验环境中验证了算法的实用性和有效性。本文的第三个工作主要关注深度学习中深度神经网络的学习。高度的非线性性给深度神经网络带来强大的数据拟合能力的同时,也使得深度神经网络的学习变得困难。前人的工作中已经证明,部分前馈网络结构的参数空间维度相对冗余,这会给优化带来额外的困难。在深度强化学习中,如循环神经网络、注意力网络等非前馈网络结构也有着大规模的应用。为了将前人工作中局限在前馈网络结构之中的技术和结果实用化,本文更全面地研究了不同类型的常用非前馈神经网络。针对不同的神经网络结构,我们分三步进行我们的工作。首先分析神经网络的路径表示,将神经网络用一种全新的具有正尺度变换不变性的参数表示出来,我们称之为路径。其次,证明所有路径可以由极少一部分独立的路径表达并且设计算法将这些独立的路径构造出来。最后为了将理论结果实用化,我们分别在两种网络结构中设计新参数空间上的优化算法,兼顾了优化算法的有效性和效率,并在多种数据集上验证了算法实际性能。
二、神经网络的学习问题研究（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、神经网络的学习问题研究（论文提纲范文）
（1）基于隐变量增强的图像分类数据有效学习算法（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景与意义 |
| 1.2 图像分类数据有效学习问题的国内外研究现状 |
| 1.2.1 卷积神经网络模型修改法 |
| 1.2.2 数据增强算法 |
| 1.2.3 数据有效学习问题与现有其他样本不充分问题的区别 |
| 1.3 本文主要研究内容 |
| 1.4 论文组织结构 |
| 第二章 相关理论 |
| 2.1 生成对抗网络 |
| 2.1.1 生成对抗网络介绍 |
| 2.1.2 相关研究 |
| 2.2 变分自编码算法 |
| 2.2.1 变分自编码算法介绍 |
| 2.2.2 相关研究 |
| 2.3 本章小结 |
| 第三章 基于生成对抗网络的隐变量增强算法 |
| 3.1 符号定义 |
| 3.2 推理过程 |
| 3.3 目标方程 |
| 3.3.1 调整隐变量分布 |
| 3.3.2 分类误差 |
| 3.3.3 Lavagan算法的目标方程 |
| 3.4 实现以及优化方法 |
| 3.5 有效性分析 |
| 3.6 本章小结 |
| 第四章 基于变分自编码的分类算法 |
| 4.1 符号定义和推理过程 |
| 4.2 目标方程 |
| 4.3 实现以及优化方法 |
| 4.4 有效性分析 |
| 4.5 本章小结 |
| 第五章 算法测试与分析 |
| 5.1 数据集介绍 |
| 5.1.1 数据集设置 |
| 5.1.2 数据处理 |
| 5.2 评估方法以及基线方法介绍 |
| 5.2.1 评估方法 |
| 5.2.2 基线介绍 |
| 5.3 实验设置 |
| 5.4 实验的结果以及分析 |
| 5.4.1 实验结果 |
| 5.4.2 结果分析 |
| 5.5 主干网络对算法的影响 |
| 5.6 参数敏感性分析 |
| 5.7 不同样本量下的实验结果 |
| 5.8 算法效率比较 |
| 5.9 本章小结 |
| 总结与展望 |
| 参考文献 |
| 攻读学位期间发表论文 |
| 攻读博士学位期间参与的项目 |
| 致谢 |
（2）回复式神经网络若干关键问题研究（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 课题研究背景 |
| 1.2 课题研究现状 |
| 1.3 论文主要贡献与创新点 |
| 1.4 论文结构 |
| 第二章 相关技术与理论基础 |
| 2.1 回复式神经网络相关知识 |
| 2.1.1 回复式神经网络简介 |
| 2.1.2 基于时间的反向传播训练方法BPTT |
| 2.2 梯度消失问题与相关解决方案 |
| 2.3 梯度爆炸问题与相关解决方案 |
| 2.4 几种特殊的回复式神经网络特殊构建方法 |
| 2.4.1 分治不同尺度依赖的HMLSTM和Fast Slow LSTM |
| 2.4.2 独立回复式神经网络IndRNN |
| 2.4.3 层间信息双向传递的BRITS方法 |
| 2.5 相关研究工具介绍 |
| 2.5.1 深度学习代码库TensorFlow |
| 2.5.2 人工智能代码库PyTorch |
| 2.5.3 硬件设施与环境介绍 |
| 2.6 本章小结 |
| 第三章 成对回复式神经网络DuRNN |
| 3.1 DuRNN方法介绍 |
| 3.1.1 DuRNN设计动机 |
| 3.1.2 DuRNN结构介绍 |
| 3.1.3 DuRNN中梯度的反向传播与训练方法 |
| 3.1.4 DuRNN中的梯度控制 |
| 3.1.5 多层DuRNN网络框架 |
| 3.2 相关分析与实验 |
| 3.2.1 相加问题 |
| 3.2.2 其他实验 |
| 3.3 本章小结 |
| 第四章 双向独立回复式脉冲网络BIRITS |
| 4.1 BIRITS方法介绍 |
| 4.1.1 BIRITS设计动机 |
| 4.1.2 BIRITS结构介绍 |
| 4.1.3 压缩BIRITS网络框架CBIRITS |
| 4.2 实验 |
| 4.2.1 实验设置 |
| 4.2.2 实验结果 |
| 4.3 本章小结 |
| 第五章 全文总结与展望 |
| 5.1 全文总结 |
| 5.2 后续与展望 |
| 致谢 |
| 参考文献 |
| 攻读硕士学位期间取得的成果 |
（3）深度卷积神经网络的迁移学习方法研究与应用（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 课题背景和意义 |
| 1.2 国内外研究现状 |
| 1.2.1 深度卷积神经网络研究现状及分析 |
| 1.2.2 深度卷积神经网络迁移学习研究现状及分析 |
| 1.3 本文主要工作 |
| 1.4 本文的组织结构 |
| 第二章 相关背景知识 |
| 2.1 迁移学习 |
| 2.1.1 迁移学习分类 |
| 2.1.2 迁移学习的方法 |
| 2.2 深度卷积神经网络 |
| 2.2.1 深度卷积神经网络特点 |
| 2.2.2 深度卷积神经网络的网络结构 |
| 2.2.3 深度卷积神经网络的参数学习 |
| 2.2.4 改进深度卷积神经网络的方法 |
| 2.3 经典深度卷积神经网络 |
| 2.3.1 AlexNet |
| 2.3.2 VGG |
| 2.3.3 GoogleNet |
| 2.3.4 ResNet |
| 2.4 本章小结 |
| 第三章 基于改进RESNET的深度迁移学习方法 |
| 3.1 引言 |
| 3.2 相关工作 |
| 3.3 模型的构建 |
| 3.3.1 预训练ResNet模型 |
| 3.3.2 分类器重训练 |
| 3.3.3 调整模块重训练 |
| 3.3.4 模型分析 |
| 3.4 实验结果与分析 |
| 3.4.1 实验环境设置 |
| 3.4.2 实验结果 |
| 3.5 本章小结 |
| 第四章 基于PE散度实例过滤的深度域适应方法 |
| 4.1 引言 |
| 4.2 相关工作 |
| 4.3 DAPEIF算法 |
| 4.3.1 符号定义 |
| 4.3.2 计算相对权值 |
| 4.3.3 边缘分布联合适应 |
| 4.3.4 权值正则项 |
| 4.3.5 算法描述 |
| 4.3.6 算法复杂度分析 |
| 4.4 实验结果与分析 |
| 4.4.1 实验环境设置 |
| 4.4.2 参数设置 |
| 4.4.3 实验结果 |
| 4.5 本章小结 |
| 第五章 基于属性平衡的深度集成零样本学习方法 |
| 5.1 引言 |
| 5.2 相关工作 |
| 5.3 EABN算法 |
| 5.3.1 零样本学习框架 |
| 5.3.2 图像预处理 |
| 5.3.3 语义特征映射模块 |
| 5.3.4 优化目标模块 |
| 5.3.5 测试样本预测模块 |
| 5.3.6 算法描述 |
| 5.4 实验结果与分析 |
| 5.4.1 数据集和评价指标 |
| 5.4.2 实验设置 |
| 5.4.3 实验结果 |
| 5.5 本章小结 |
| 第六章 总结与展望 |
| 6.1 工作总结 |
| 6.2 工作展望 |
| 参考文献 |
| 附录1 攻读硕士学位期间撰写的论文 |
| 致谢 |
（4）基于门控神经网络的算法学习问题研究（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 研究背景 |
| 1.2 研究内容与研究方法 |
| 1.3 论文创新点 |
| 1.4 论文组织结构 |
| 第二章 人工神经网络及其分类 |
| 2.1 人工神经网络的基本要素 |
| 2.1.1 神经网络的运行过程 |
| 2.1.2 神经网络的结构组成 |
| 2.1.3 神经网络的激活函数 |
| 2.2 人工神经网络分类标准 |
| 2.3 循环神经网络 |
| 2.3.1 循环神经网络及其变体发展历史文献综述 |
| 2.3.2 循环神经网络结构 |
| 2.3.3 梯度下降算法 |
| 2.3.4 循环神经网络时间及空间复杂度分析 |
| 2.4 长短时记忆网络 |
| 2.4.1 长短时记忆网络的结构 |
| 2.4.2 长短时记忆网络的工作原理 |
| 2.4.3 长短时记忆网络存在的问题 |
| 2.5 门控神经网络 |
| 2.5.1 门控神经网络的结构 |
| 2.5.2 门控神经网络的工作原理 |
| 2.5.3 门控神经网络在处理算法学习任务上的问题 |
| 第三章 门控神经网络的改进 |
| 3.1 门控神经网络的改进原因 |
| 3.2 神经网络结构的选择 |
| 3.3 激活函数的改进 |
| 3.3.1 激活函数替代方案一 |
| 3.3.2 激活函数改进方案二 |
| 3.3.3 激活函数改进方案三 |
| 3.3.4 激活函数改变后对于简化计算的理论分析 |
| 3.4 学习率的改进 |
| 3.4.1 学习率改进方案一 |
| 3.4.2 学习率改进方案二 |
| 3.4.3 学习率改变后对于加快权重矩阵收敛的理论分析 |
| 第四章 改进后门控神经网络在算法学习问题上的表现 |
| 4.1 算法学习问题 |
| 4.1.1 算法学习发展文献综述 |
| 4.1.2 本文研究的算法学习任务 |
| 4.2 实验环境 |
| 4.3 评价指标 |
| 4.4 对激活函数改变后的实验 |
| 4.4.1 网络参数设置 |
| 4.4.2 实验结果与分析 |
| 4.5 对学习率改进的实验 |
| 4.5.1 网络参数设置 |
| 4.5.2 实验结果分析 |
| 4.6 综合激活函数与梯度下降学习率改进的实验 |
| 4.6.1 网络参数设置 |
| 4.6.2 实验结果分析 |
| 第五章 总结与展望 |
| 5.1 文章总结 |
| 5.2 展望 |
| 参考文献 |
| 致谢 |
| 学位论文评阅及答辩情况表 |
（5）基于确定学习理论的非线性系统智能控制方法研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 自适应控制和学习控制 |
| 1.2.1 自适应控制 |
| 1.2.2 学习控制 |
| 1.3 智能控制与神经网络控制 |
| 1.3.1 智能控制 |
| 1.3.2 神经网络控制 |
| 1.4 多模型自适应控制 |
| 1.5 确定学习理论简介 |
| 1.6 本文的主要工作 |
| 第二章 确定学习理论 |
| 2.1 引言 |
| 2.2 确定学习机制 |
| 2.2.1 径向基函数神经网络 |
| 2.2.2 持续激励条件 |
| 2.2.3 确定学习机制 |
| 2.3 动态模式识别 |
| 2.3.1 相似性度量 |
| 2.3.2 动态模式的快速识别 |
| 2.4 采样确定学习 |
| 2.5 本章小结 |
| 第三章 基于动态面控制的纯反馈非线性系统确定学习控制 |
| 3.1 引言 |
| 3.2 问题描述 |
| 3.3 从稳定的自适应动态面控制中学习 |
| 3.3.1 自适应神经网络动态面控制器设计 |
| 3.3.2 从稳定的闭环控制中学习 |
| 3.4 基于经验的学习控制策略 |
| 3.5 仿真研究 |
| 3.5.1 从自适应动态面控制中学习 |
| 3.5.2 基于经验的学习控制 |
| 3.6 本章小结 |
| 第四章 基于观测器的纯反馈非线性系统确定学习控制 |
| 4.1 引言 |
| 4.2 问题描述 |
| 4.3 自适应神经网络控制器设计 |
| 4.4 从稳定的闭环控制中学习 |
| 4.5 基于经验的学习控制策略 |
| 4.6 仿真研究 |
| 4.6.1 从自适应神经网络控制中学习 |
| 4.6.2 基于经验的学习控制 |
| 4.7 本章小结 |
| 第五章 非仿射纯反馈非线性系统基于模式的控制 |
| 5.1 引言 |
| 5.2 问题描述 |
| 5.3 两个辨识阶段 |
| 5.3.1 第一个辨识阶段 |
| 5.3.2 第二个辨识阶段 |
| 5.4 快速识别和基于模式的控制阶段 |
| 5.4.1 快速识别策略 |
| 5.4.2 基于模式的控制与分析 |
| 5.5 仿真研究 |
| 5.5.1 两个阶段的辨识 |
| 5.5.2 快速识别和基于模式的控制 |
| 5.6 本章小结 |
| 第六章 带预设性能的纯反馈非线性系统基于模式的控制 |
| 6.1 引言 |
| 6.2 问题描述 |
| 6.3 两个辨识阶段 |
| 6.3.1 第一个辨识阶段:从闭环控制中学习 |
| 6.3.2 第二个辨识阶段:不同控制情形下的系统辨识 |
| 6.4 快速识别和基于模式的控制 |
| 6.4.1 快速识别策略 |
| 6.4.2 基于模式的控制与分析 |
| 6.5 仿真研究 |
| 6.5.1 辨识阶段 |
| 6.5.2 快速识别和基于模式的控制 |
| 6.6 本章小结 |
| 第七章 基于确定学习理论的采样非线性系统自适应神经网络控制 |
| 7.1 引言 |
| 7.2 问题描述 |
| 7.3 自适应神经网络控制器设计 |
| 7.4 从稳定的闭环控制中学习 |
| 7.5 基于经验的学习控制策略 |
| 7.6 仿真研究 |
| 7.6.1 摆平衡控制系统 |
| 7.6.2 机械臂控制系统 |
| 7.7 本章小结 |
| 第八章 总结与展望 |
| 8.1 工作总结 |
| 8.2 工作展望 |
| 参考文献 |
| 攻读博士学位期间取得的研究成果 |
| 致谢 |
| 附件 |
（6）数字音乐营销中的推荐系统关键方法与技术（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景 |
| 1.2 研究意义 |
| 1.2.1 理论意义 |
| 1.2.2 实践意义 |
| 1.3 研究内容 |
| 1.4 论文主要创新点 |
| 1.5 论文组织结构 |
| 第二章 相关理论与研究综述 |
| 2.1 数字音乐营销策略发展综述 |
| 2.2 音乐偏好的影响因素研究 |
| 2.2.1 音乐特征及流派 |
| 2.2.2 听众特征 |
| 2.2.3 上下文环境 |
| 2.3 数字音乐推荐中的关键技术 |
| 2.3.1 传统推荐技术 |
| 2.3.2 深度学习技术 |
| 2.3.3 嵌入式表示技术 |
| 2.3.4 推荐评估方法 |
| 2.4 音乐推荐算法研究综述 |
| 2.4.1 融合歌曲内容的音乐推荐算法 |
| 2.4.2 基于会话数据的音乐推荐算法 |
| 2.5 本章小结 |
| 第三章 融合内容表示的度量排序学习推荐算法 |
| 3.1 引言 |
| 3.2 问题描述 |
| 3.3 融合内容表示的度量排序学习推荐算法 |
| 3.3.1 相对偏好模型 |
| 3.3.2 音频语义特征提取 |
| 3.3.3 联合训练 |
| 3.4 实验评测 |
| 3.4.1 实验数据 |
| 3.4.2 对比方法 |
| 3.4.3 评估指标 |
| 3.4.4 冷启动音乐推荐性能对比 |
| 3.4.5 不同稀疏数据集上的鲁棒性分析 |
| 3.4.6 参数分析 |
| 3.5 本章小结 |
| 第四章 基于多层注意力表示的音乐推荐算法 |
| 4.1 引言 |
| 4.2 问题描述 |
| 4.3 基于多层注意力表示的音乐推荐算法 |
| 4.3.1 歌曲编码 |
| 4.3.2 用户编码 |
| 4.3.3 预测与训练 |
| 4.4 实验测评 |
| 4.4.1 实验数据 |
| 4.4.2 对比方法 |
| 4.4.3 评估方法 |
| 4.4.4 对比分析 |
| 4.4.5 参数分析 |
| 4.5 本章小结 |
| 第五章 基于注意力机制的时序推荐算法 |
| 5.1 引言 |
| 5.2 问题描述 |
| 5.3 基于注意力机制的时序推荐算法 |
| 5.3.1 歌曲多维特征提取 |
| 5.3.2 时序关系建模 |
| 5.3.3 预测与训练 |
| 5.4 实验测评 |
| 5.4.1 实验数据 |
| 5.4.2 对比方法 |
| 5.4.3 评估方法 |
| 5.4.4 对比分析 |
| 5.4.5 参数分析 |
| 5.5 本章小结 |
| 第六章 横向对比与系统验证 |
| 6.1 引言 |
| 6.2 横向对比 |
| 6.3 系统验证 |
| 6.3.1 数据集 |
| 6.3.2 验证方法 |
| 6.3.3 结果分析 |
| 6.4 系统结论 |
| 第七章 总结与展望 |
| 7.1 论文总结 |
| 7.2 研究展望 |
| 参考文献 |
| 附录 缩略语 |
| 致谢 |
| 攻读学位期间发表的学术论文目录 |
| 攻读博士学位期间申请的专利 |
（7）城市时空数据预测中的深度元学习算法研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景 |
| 1.2 研究意义 |
| 1.3 国内外研究现状 |
| 1.3.1 传统机器学习模型与时空数据建模 |
| 1.3.2 深度学习与时空数据建模 |
| 1.3.3 深度元学习 |
| 1.3.4 城市计算与时空数据建模 |
| 1.4 研究内容和挑战 |
| 1.5 研究方法和技术路线 |
| 1.6 章节安排 |
| 第二章 时空数据预测中的深度学习基础 |
| 2.1 深度神经网络 |
| 2.2 循环神经网络 |
| 2.2.1 门控循环单元 |
| 2.2.2 序列到序列架构 |
| 2.3 图注意力神经网络 |
| 2.4 图卷积神经网络 |
| 第三章 时空相关性的多样性问题研究 |
| 3.1 引言 |
| 3.2 问题定义 |
| 3.3 算法框架 |
| 3.3.1 框架概况 |
| 3.3.2 时空特征学习网络 |
| 3.3.3 基于区域特性的预测网络 |
| 3.3.4 框架训练算法 |
| 3.3.5 框架扩展性分析 |
| 3.3.6 框架复杂度分析 |
| 3.4 实验结果及分析 |
| 3.4.1 实验设置 |
| 3.4.2 模型对比 |
| 3.4.3 超参数实验 |
| 3.4.4 实例分析 |
| 3.5 应用部署 |
| 3.6 本章小结 |
| 第四章 空间信息与多样时空相关性的关联问题研究 |
| 4.1 引言 |
| 4.2 问题定义 |
| 4.3 算法框架 |
| 4.3.1 框架概况 |
| 4.3.2 循环神经网络 |
| 4.3.3 空间元知识学习网络 |
| 4.3.4 基于元学习的图注意力神经网络 |
| 4.3.5 基于元学习的循环神经网络 |
| 4.3.6 框架训练算法 |
| 4.4 实验结果及分析 |
| 4.4.1 实验设置 |
| 4.4.2 模型对比 |
| 4.4.3 元学习模块有效性实验 |
| 4.4.4 超参数实验 |
| 4.4.5 元知识有效性实验 |
| 4.4.6 案例分析 |
| 4.5 参数矩阵分解与参数元学习的关系 |
| 4.6 本章小结 |
| 第五章 时序信息与多样时空相关性的关联问题研究 |
| 5.1 引言 |
| 5.2 问题定义 |
| 5.3 算法框架 |
| 5.3.1 框架概况 |
| 5.3.2 空间元知识学习网络 |
| 5.3.3 基于元学习的图注意力神经网络 + |
| 5.3.4 基于元学习的循环神经网络 + |
| 5.3.5 框架训练算法 |
| 5.4 实验结果及分析 |
| 5.4.1 实验设置 |
| 5.4.2 模型对比 |
| 5.4.3 元学习模块有效性实验 |
| 5.4.4 超参数实验 |
| 5.4.5 收敛性实验 |
| 5.4.6 元知识有效性实验 |
| 5.4.7 案例分析 |
| 5.5 本章小结 |
| 第六章 时空神经网络结构自动设计问题研究 |
| 6.1 引言 |
| 6.2 问题定义 |
| 6.3 算法框架 |
| 6.3.1 框架概况 |
| 6.3.2 预测网络 |
| 6.3.3 空间元知识学习网络 |
| 6.3.4 元学习网络 |
| 6.3.5 搜索算法 |
| 6.4 实验结果及分析 |
| 6.4.1 实验设置 |
| 6.4.2 模型对比 |
| 6.4.3 框架有效性实验 |
| 6.4.4 候选网络结构有效性实验 |
| 6.4.5 算法模块有效性实验 |
| 6.5 本章小结 |
| 全文总结 |
| 参考文献 |
| 致谢 |
| 攻读学位期间发表的学术论文 |
（8）基于核极限学习机自编码器的多标记学习（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 研究背景和现状 |
| 1.2 国内外研究现状 |
| 1.3 论文组织结构 |
| 1.3.1 本文的研究内容 |
| 1.3.2 全文组织结构安排 |
| 1.4 本章小结 |
| 第二章 多标记学习相关理论 |
| 2.1 多标记学习介绍 |
| 2.1.1 多标记分类学习算法 |
| 2.1.2 标记相关性学习 |
| 2.1.3 评价指标 |
| 2.2 神经网络学习算法 |
| 2.2.1 核函数和核矩阵 |
| 2.2.2 核极限学习机理论 |
| 2.2.3 自编码神经网络 |
| 2.3 本章小结 |
| 第三章 特征重构核极限学习机自编码多标记学习 |
| 3.1 概述 |
| 3.2 ML-KELMAE算法 |
| 3.2.1 自编码神经网络 |
| 3.2.2 核极限学习机自编码多标记学习算法建模 |
| 3.3 实验及其结果分析 |
| 3.3.1 实验数据集描述 |
| 3.3.2 实验环境及相关参数设置 |
| 3.3.3 实验结果与分析 |
| 3.4 本章小结 |
| 第四章 考虑标记相关性核极限学习机自编码多标记 |
| 4.1 概述 |
| 4.2 考虑标记相关性的核极限学习机自编码多标记算法 |
| 4.2.1 标记相关性矩阵 |
| 4.2.2 算法描述 |
| 4.3 实验及其结果分析 |
| 4.3.1 实验数据 |
| 4.3.2 实验环境及相关参数设置 |
| 4.3.3 实验结果与分析 |
| 4.3.4 统计假设检验分析 |
| 4.4 本章小结 |
| 第五章 总结与展望 |
| 5.1 总结 |
| 5.2 下一步工作 |
| 致谢 |
| 参考文献 |
| 附录 ：读研期间科研成果 |
（9）面向复杂时变信号分析的动态神经网络模型与算法研究（论文提纲范文）
| 摘要 |
| Abstract |
| 变量注释表 |
| 1 绪论 |
| 1.1 研究背景与意义 |
| 1.2 国内外研究现状 |
| 1.3 研究内容与思路 |
| 1.4 论文章节安排 |
| 2 相关知识及基本理论 |
| 2.1 监督学习 |
| 2.2 人工神经网络相关理论 |
| 2.3 数据标准化方法 |
| 2.4 基于梯度下降的优化算法 |
| 2.5 分类与回归问题的评价指标 |
| 2.6 本章小结 |
| 3 基于深度小波循环卷积神经网络的短时变信号分析模型与算法 |
| 3.1 引言 |
| 3.2 面向短时变信号的DWRCNN智能分析模型与算法 |
| 3.3 实验验证与结果分析 |
| 3.4 本章小结 |
| 4 基于多特征融合的长短期记忆网络单通道长时变信号分析模型与算法 |
| 4.1 引言 |
| 4.2 面向单通道长时变信号的ILSTM智能分析模型与算法 |
| 4.3 实验验证与结果分析 |
| 4.4 本章小结 |
| 5 基于T-S过程神经网络的非周期性多通道长时变信号分析模型与算法 |
| 5.1 引言 |
| 5.2 模糊计算与过程神经网络 |
| 5.3 面向非周期性多通道长时变信号的TSPNN智能分析模型与算法 |
| 5.4 实验验证与结果分析 |
| 5.5 本章小结 |
| 6 基于概率计算过程神经网络的周期性多通道长时变信号分析模型与算法 |
| 6.1 引言 |
| 6.2 概率神经网络模型 |
| 6.3 面向周期性多通道长时变信号的PCPNN智能分析模型与算法 |
| 6.4 实验验证与结果分析 |
| 6.5 本章小结 |
| 7 总结与展望 |
| 7.1 主要研究工作总结 |
| 7.2 研究工作展望 |
| 参考文献 |
| 作者简历 |
| 致谢 |
| 学位论文数据集 |
（10）深度强化学习中的随机算法研究（论文提纲范文）
| 致谢 |
| 摘要 |
| ABSTRACT |
| 1 引言 |
| 1.1 研究背景 |
| 1.2 研究现状 |
| 1.2.1 强化学习中的策略评估问题 |
| 1.2.2 强化学习中的策略控制问题 |
| 1.2.3 深度神经网络的学习算法 |
| 1.3 本文的结构安排 |
| 2 策略评估问题中的随机算法 |
| 2.1 背景及问题 |
| 2.2 基于梯度的时间差分算法与鞍点问题 |
| 2.3 一般鞍点问题的收敛性分析 |
| 2.3.1 相关假设与条件 |
| 2.3.2 混合时间的引入 |
| 2.3.3 主要定理及讨论 |
| 2.4 基于梯度的时间差分算法的收敛性分析 |
| 2.5 数值实验 |
| 2.5.1 实验数据和模型 |
| 2.5.2 实验结果和分析 |
| 2.6 详细证明 |
| 2.6.1 定理的证明 |
| 2.6.2 引理的证明 |
| 2.6.3 讨论 |
| 2.7 小结 |
| 3 策略控制问题中的迁移学习算法 |
| 3.1 背景及问题 |
| 3.2 迁移目标Q学习 |
| 3.3 Q学习中的收敛性分析 |
| 3.3.1 迁移目标Q函数对收敛速率的影响 |
| 3.3.2 两个重要误差的收敛性分析 |
| 3.3.3 迁移目标Q学习算法收敛性结果 |
| 3.4 关于误差条件的讨论 |
| 3.5 实验 |
| 3.5.1 实验环境介绍 |
| 3.5.2 实验结果分析 |
| 3.6 小结 |
| 4 深度神经网络优化中的随机算法 |
| 4.1 背景与问题 |
| 4.2 循环神经网络上的的路径空间 |
| 4.2.1 循环神经网络介绍 |
| 4.2.2 循环神经网络的路径表示 |
| 4.2.3 循环神经网络的基路径 |
| 4.2.4 算法 |
| 4.3 基于注意力网络的神经网络结构上的路径空间 |
| 4.3.1 基于注意力网络的神经网络结构介绍 |
| 4.3.2 注意力网络的路径表示 |
| 4.3.3 注意力网络的基路径 |
| 4.3.4 算法 |
| 4.4 实验 |
| 4.4.1 实验数据和模型 |
| 4.4.2 实验结果展示与分析 |
| 4.5 小结 |
| 5 总结与展望 |
| 参考文献 |
| 作者简历及攻读博士学位期间取得的研究成果 |
| 学位论文数据集 |
四、神经网络的学习问题研究（论文参考文献）
- [1]基于隐变量增强的图像分类数据有效学习算法[D]. 林露樾. 广东工业大学, 2021(08)
- [2]回复式神经网络若干关键问题研究[D]. 张宸鹏. 电子科技大学, 2021(01)
- [3]深度卷积神经网络的迁移学习方法研究与应用[D]. 袁晨晖. 南京邮电大学, 2020(02)
- [4]基于门控神经网络的算法学习问题研究[D]. 王应灿. 山东大学, 2020(05)
- [5]基于确定学习理论的非线性系统智能控制方法研究[D]. 张付凯. 华南理工大学, 2020(05)
- [6]数字音乐营销中的推荐系统关键方法与技术[D]. 李琳. 北京邮电大学, 2020(01)
- [7]城市时空数据预测中的深度元学习算法研究[D]. 潘哲逸. 上海交通大学, 2020(01)
- [8]基于核极限学习机自编码器的多标记学习[D]. 李存志. 安庆师范大学, 2020(12)
- [9]面向复杂时变信号分析的动态神经网络模型与算法研究[D]. 封乃丹. 山东科技大学, 2020(06)
- [10]深度强化学习中的随机算法研究[D]. 汪跃. 北京交通大学, 2020(03)