人工智能数学基础-优化理论 补习课程表
人工智能数学基础：优化理论
一、课程概述
优化理论是人工智能领域的核心数学基础，为机器学习、深度学习、强化学习等提供了理论框架和算法基础。在人工智能中，从模型训练到超参数调优，从特征选择到模型压缩，优化理论无处不在。对于希望在人工智能领域有所建树的工程师而言，扎实的优化理论基础是必不可少的。
本课程表旨在帮助有工作经验但基础薄弱的学习者系统掌握优化理论知识，从基础概念到高级应用，结合人工智能实际需要，构建完整的知识体系。通过循序渐进的学习，学习者将能够理解和应用优化理论的基本理论与方法，为进一步学习机器学习、深度学习等 AI 核心技术打下坚实的数学基础。
1.1 学习目标
通过本课程的学习，你将能够：
理解优化理论的基本概念和理论框架，掌握优化问题的数学描述和分类
掌握无约束优化和有约束优化的基本方法，理解其数学原理和算法实现
应用优化理论解决机器学习中的实际问题，如梯度下降、牛顿法等
理解凸优化的基本概念和方法，掌握凸优化问题的建模和求解
应用优化理论分析和解决深度学习中的优化问题
能够将优化理论知识应用于人工智能领域的实际问题中
1.2 学习路径说明
本课程表按照从易到难、知识依赖关系设计，共分为八个学习模块，每个模块包含若干知识点。学习时应严格按照顺序进行，前一个模块是后一个模块的基础。每个知识点都包含学习要求、学习时长建议、学习资源、难点总结、课后练习作业和过关考试，确保全面掌握。
1.3 学习资源说明
本课程表推荐的学习资源包括：
国内高校优质 MOOC 课程
国际知名大学公开课
经典教材及配套辅导书
人工智能领域优化理论应用案例解析
数学软件使用教程（如 Python 优化库）
二、学习建议
2.1 学习方法建议
理论联系实际：优化理论的概念较为抽象，学习时应结合具体的人工智能应用场景，如机器学习中的参数优化、深度学习中的梯度下降等，加深对理论知识的理解。
多做练习：优化理论是一门需要大量练习的学科，应通过大量的习题巩固所学知识，特别是梯度计算、算法实现等。
使用数学软件：学习过程中应结合 Python 等数学软件进行计算和验证，提高解决实际问题的能力。推荐使用的库包括 NumPy（矩阵运算）、SciPy（科学计算）、Scikit-learn（机器学习）、TensorFlow/PyTorch（深度学习）等。
理解算法本质：避免死记硬背算法步骤，应深入理解算法的原理和内在逻辑，如梯度下降的迭代原理、牛顿法的二阶信息利用等。
定期总结：定期对所学知识进行总结，建立知识框架，梳理各知识点之间的联系，形成完整的知识体系。
2.2 学习工具推荐
数学软件：强烈建议一边学习理论，一边用编程工具练习！！！
Python 科学计算库：NumPy（矩阵运算）、SciPy（统计模块）、Matplotlib（可视化）
机器学习库：Scikit-learn（机器学习算法）、TensorFlow/PyTorch（深度学习框架）
优化库：SciPy.optimize（优化算法）、CVXPY（凸优化建模）
学习平台：
国家高等教育智慧教育平台：提供大量优质的优化理论课程
中国大学 MOOC：汇聚国内多所高校的优化理论相关课程
Coursera、edX：提供国际知名大学的优化理论和人工智能课程
辅助学习工具：
数学公式编辑器：帮助编写和理解复杂的数学公式
思维导图工具：帮助梳理知识结构和概念关系
在线计算工具：如 Wolfram Alpha、RapidTables 等
3.3 学习进度管理
制定学习计划：根据课程表的安排，制定详细的学习计划，合理分配每天的学习时间，确保按时完成学习目标。
阶段性目标：将整个学习过程分为若干阶段，每个阶段设定明确的学习目标，如完成一个模块的学习并通过相应的过关考试。
学习记录：记录每天的学习内容、遇到的问题和解决方法，便于复习和总结。
定期复习：定期复习已学内容，强化记忆，避免遗忘，特别是梯度下降、牛顿法、KKT 条件等核心内容。
模拟考试：在每个模块学习结束后，进行模拟考试，检验学习效果，及时发现和解决问题。
三、鼓励
本课程表系统地梳理了人工智能领域所需的优化理论知识，从基础概念到高级应用，结合实际案例，帮助学习者建立扎实的优化理论基础。通过按照本课程表的顺序学习，你将能够掌握优化理论的核心概念和方法，并能够应用这些知识解决人工智能领域的实际问题。
优化理论是人工智能的基石，也是提升逻辑思维和问题解决能力的重要工具。希望本课程表能够帮助你克服学习困难，建立对优化理论的兴趣和信心，为未来的人工智能学习和研究打下坚实的数学基础。
记住，学习数学需要耐心和坚持，遇到困难时不要气馁，多思考、多练习、多交流，相信你一定能够掌握这门重要的数学工具！
若过程中有任何疑问，可关注公众号（iLearnAI）进专家群交流，不要放弃！
四、课程表
详细的学习课程如下：
大类 | 序号 | 知识点 | 学习要求 | 学习时长建议 | 学习资源 | 难点总结 | 课后练习 | 过关考试 |
优化理论基础 | 1 | 数学基础复习 | •理解导数、偏导数、梯度、Hessian 矩阵的概念 •掌握矩阵运算、特征值、正定矩阵等线性代数知识 •理解泰勒展开式及其在优化中的应用 •能够应用数学基础知识解决简单优化问题 | 建议 12 小时（理论学习 6 小时，练习 6 小时） | 1.国家高等教育智慧教育平台《数学分析》（导数与梯度部分） https://higher.smartedu.cn/course/671ad55c16d8a05eedca459a 2.中国大学 MOOC《线性代数》（矩阵运算与特征值部分） https://www.icourse163.org/course/671ad55c16d8a05eedca459a 3.《高等数学》（同济大学，第七版） | •多元函数的导数和梯度计算需要系统掌握 •矩阵的特征值和正定矩阵的概念需要深入理解 •泰勒展开式的应用需要结合具体例子 | 1.计算多元函数的梯度和 Hessian 矩阵 2.判断矩阵的正定性 3.应用泰勒展开式近似函数 | •笔试：数学基础概念和计算 •应用题：应用数学基础知识分析简单优化问题 |
2 | 优化问题基本概念 | •理解优化问题的一般形式和分类 •掌握目标函数、决策变量和约束条件的概念 •理解可行解、可行域和最优解的定义 •能够将实际问题建模为数学优化问题 | 建议 10 小时（理论学习 5 小时，练习 5 小时） | 1.国家高等教育智慧教育平台《最优化理论与方法》第一章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《最优化方法》第一讲 https://www.icourse163.org/course/detail.htm?cid=1206412801 3.《最优化理论与方法》（袁亚湘、孙文瑜） | •优化问题的抽象概念需要结合具体例子理解 •不同类型优化问题的区分需要系统掌握 •实际问题的数学建模需要深入理解 | 1.将实际问题（如生产计划、资源分配）建模为优化问题 2.分析不同类型优化问题的特点和应用场景 3.比较无约束优化和有约束优化的异同 | •笔试：优化问题的基本概念和分类 •应用题：将实际问题建模为数学优化问题 |
3 | 凸集与凸函数 | •理解凸集和凸函数的定义和性质 •掌握凸函数的判定方法（一阶条件、二阶条件） •理解凸优化问题的定义和性质 •能够应用凸集和凸函数的概念分析优化问题 | 建议 14 小时（理论学习 7 小时，练习 7 小时） | 1.国家高等教育智慧教育平台《最优化理论与方法》第二章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《最优化方法》第二讲 https://www.icourse163.org/course/detail.htm?cid=1206412801 3.《Convex Optimization》（Stephen Boyd、Lieven Vandenberghe） | •凸集和凸函数的抽象概念需要结合几何直观理解 •凸函数的判定条件需要系统掌握 •凸优化问题的性质需要深入理解 | 1.判断给定集合是否为凸集 2.判断给定函数是否为凸函数 3.应用凸函数的性质证明优化问题的最优性 | •笔试：凸集和凸函数的概念和性质 •应用题：应用凸函数的性质分析优化问题 |
无约束优化方法 | 4 | 梯度下降法 | •理解梯度下降法的基本原理和迭代步骤 •掌握梯度下降法的不同变体（批量梯度下降、随机梯度下降、小批量梯度下降） •理解步长选择对收敛性的影响 •能够应用梯度下降法解决简单的优化问题 | 建议 16 小时（理论学习 8 小时，练习 8 小时） | 1.国家高等教育智慧教育平台《最优化理论与方法》第三章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《最优化方法》第三讲 https://www.icourse163.org/course/detail.htm?cid=1206412801 3.《最优化理论与方法》（袁亚湘、孙文瑜） | •梯度下降法的收敛性分析需要系统掌握 •不同变体的梯度下降法的适用场景需要深入理解 •步长选择的策略需要结合具体问题 | 1.实现批量梯度下降算法求解线性回归问题 2.实现随机梯度下降算法并分析其收敛性 3.比较不同梯度下降变体的性能和适用场景 | •笔试：梯度下降法的原理和收敛性分析 •应用题：应用梯度下降法解决实际优化问题 |
5 | 牛顿法与拟牛顿法 | •理解牛顿法的基本原理和迭代步骤 •掌握牛顿法的收敛性分析和优缺点 •理解拟牛顿法的基本思想（如 DFP、BFGS 算法） •能够应用牛顿法和拟牛顿法解决优化问题 | 建议 16 小时（理论学习 8 小时，练习 8 小时） | 1.国家高等教育智慧教育平台《最优化理论与方法》第四章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《最优化方法》第四讲 https://www.icourse163.org/course/detail.htm?cid=1206412801 3.《Numerical Optimization》（Jorge Nocedal、Stephen J. Wright） | •牛顿法的 Hessian 矩阵计算和求逆需要系统掌握 •拟牛顿法的校正公式需要深入理解 •牛顿法和拟牛顿法的适用场景需要比较分析 | 1.实现牛顿法求解无约束优化问题 2.实现 BFGS 算法求解无约束优化问题 3.比较牛顿法和梯度下降法的性能和适用场景 | •笔试：牛顿法和拟牛顿法的原理和收敛性分析 •应用题：应用牛顿法和拟牛顿法解决实际优化问题 |
6 | 共轭梯度法 | •理解共轭梯度法的基本原理和迭代步骤 •掌握共轭梯度法的收敛性分析和优缺点 •理解共轭方向的概念和性质 •能够应用共轭梯度法解决优化问题 | 建议 14 小时（理论学习 7 小时，练习 7 小时） | 1.国家高等教育智慧教育平台《最优化理论与方法》第五章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《最优化方法》第五讲 https://www.icourse163.org/course/detail.htm?cid=1206412801 3.《最优化理论与方法》（袁亚湘、孙文瑜） | •共轭方向的概念需要深入理解 •共轭梯度法的迭代公式需要系统掌握 •共轭梯度法的收敛性分析需要结合具体问题 | 1.实现共轭梯度法求解无约束优化问题 2.比较共轭梯度法与梯度下降法、牛顿法的性能 3.应用共轭梯度法解决实际优化问题 | •笔试：共轭梯度法的原理和收敛性分析 •应用题：应用共轭梯度法解决实际优化问题 |
有约束优化方法 | 7 | 拉格朗日乘数法 | •理解拉格朗日乘数法的基本原理和适用条件 •掌握拉格朗日函数的构造方法 •理解拉格朗日乘数的几何意义 •能够应用拉格朗日乘数法解决等式约束优化问题 | 建议 14 小时（理论学习 7 小时，练习 7 小时） | 1.国家高等教育智慧教育平台《最优化理论与方法》第六章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《最优化方法》第六讲 https://www.icourse163.org/course/detail.htm?cid=1206412801 3.《最优化理论与方法》（袁亚湘、孙文瑜） | •拉格朗日函数的构造需要系统掌握 •拉格朗日乘数的几何意义需要深入理解 •拉格朗日乘数法的适用条件需要结合具体问题 | 1.应用拉格朗日乘数法求解等式约束优化问题 2.分析拉格朗日乘数法的几何意义 3.应用拉格朗日乘数法解决实际优化问题 | •笔试：拉格朗日乘数法的原理和应用 •应用题：应用拉格朗日乘数法解决实际优化问题 |
8 | KKT 条件 | •理解 KKT 条件的基本原理和组成部分 •掌握 KKT 条件的推导过程 •理解 KKT 条件在有约束优化中的应用 •能够应用 KKT 条件分析优化问题的最优性 | 建议 18 小时（理论学习 9 小时，练习 9 小时） | 1.国家高等教育智慧教育平台《最优化理论与方法》第七章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《最优化方法》第七讲 https://www.icourse163.org/course/detail.htm?cid=1206412801 3.《Convex Optimization》（Stephen Boyd、Lieven Vandenberghe） | •KKT 条件的推导需要系统掌握 •KKT 条件的四个组成部分（稳定性条件、原始可行性、对偶可行性、互补松弛性）需要深入理解 •KKT 条件在实际问题中的应用需要结合具体案例 | 1.推导 KKT 条件的各个组成部分 2.应用 KKT 条件分析有约束优化问题的最优性 3.应用 KKT 条件解决实际优化问题 | •笔试：KKT 条件的原理和推导 •应用题：应用 KKT 条件分析实际优化问题 |
9 | 内点法 | •理解内点法的基本原理和迭代步骤 •掌握内点法的核心思想（障碍函数法） •理解内点法的收敛性分析和优缺点 •能够应用内点法解决有约束优化问题 | 建议 16 小时（理论学习 8 小时，练习 8 小时） | 1.国家高等教育智慧教育平台《最优化理论与方法》第八章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《最优化方法》第八讲 https://www.icourse163.org/course/detail.htm?cid=1206412801 3.《最优化理论与方法》（袁亚湘、孙文瑜） | •障碍函数的构造需要系统掌握 •内点法的迭代步骤需要深入理解 •内点法的收敛性分析需要结合具体问题 | 1.实现内点法求解有约束优化问题 2.分析内点法的收敛性 3.应用内点法解决实际优化问题 | •笔试：内点法的原理和迭代步骤 •应用题：应用内点法解决实际优化问题 |
凸优化理论 | 10 | 凸优化问题 | •理解凸优化问题的定义和性质 •掌握凸优化问题的标准形式 •理解凸优化问题的最优性条件 •能够应用凸优化理论分析和解决实际问题 | 建议 14 小时（理论学习 7 小时，练习 7 小时） | 1.国家高等教育智慧教育平台《最优化理论与方法》第九章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《最优化方法》第九讲 https://www.icourse163.org/course/detail.htm?cid=1206412801 3.《Convex Optimization》（Stephen Boyd、Lieven Vandenberghe） | •凸优化问题的定义需要系统掌握 •凸优化问题的最优性条件需要深入理解 •凸优化问题的实际应用需要结合具体案例 | 1.将实际问题建模为凸优化问题 2.应用凸优化理论分析优化问题的最优性 3.应用凸优化理论解决实际问题 | •笔试：凸优化问题的定义和性质 •应用题：应用凸优化理论解决实际问题 |
11 | 线性规划 | •理解线性规划问题的标准形式和基本性质 •掌握单纯形法的基本原理和迭代步骤 •理解对偶理论在线性规划中的应用 •能够应用线性规划理论解决实际问题 | 建议 16 小时（理论学习 8 小时，练习 8 小时） | 1.国家高等教育智慧教育平台《最优化理论与方法》第十章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《最优化方法》第十讲 https://www.icourse163.org/course/detail.htm?cid=1206412801 3.《运筹学》（清华大学出版社） | •线性规划问题的标准形式需要系统掌握 •单纯形法的迭代步骤需要深入理解 •对偶理论的应用需要结合具体问题 | 1.将实际问题建模为线性规划问题 2.应用单纯形法求解线性规划问题 3.应用对偶理论分析线性规划问题 | •笔试：线性规划问题的基本理论和方法 •应用题：应用线性规划理论解决实际问题 |
12 | 二次规划 | •理解二次规划问题的标准形式和基本性质 •掌握二次规划问题的求解方法（如内点法、有效集法） •理解二次规划在机器学习中的应用 •能够应用二次规划理论解决实际问题 | 建议 14 小时（理论学习 7 小时，练习 7 小时） | 1.国家高等教育智慧教育平台《最优化理论与方法》第十一章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《最优化方法》第十一讲 https://www.icourse163.org/course/detail.htm?cid=1206412801 3.《最优化理论与方法》（袁亚湘、孙文瑜） | •二次规划问题的标准形式需要系统掌握 •二次规划问题的求解方法需要深入理解 •二次规划在机器学习中的应用需要结合具体案例 | 1.将实际问题建模为二次规划问题 2.应用内点法求解二次规划问题 3.应用二次规划理论解决机器学习中的问题 | •笔试：二次规划问题的基本理论和方法 •应用题：应用二次规划理论解决实际问题 |
数值优化方法 | 13 | 线搜索技术 | •理解线搜索的基本原理和目标 •掌握精确线搜索和非精确线搜索的方法 •理解 Armijo 准则、Wolfe 准则等线搜索条件 •能够应用线搜索技术提高优化算法的性能 | 建议 12 小时（理论学习 6 小时，练习 6 小时） | 1.国家高等教育智慧教育平台《最优化理论与方法》第十二章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《最优化方法》第十二讲 https://www.icourse163.org/course/detail.htm?cid=1206412801 3.《最优化理论与方法》（袁亚湘、孙文瑜） | •线搜索的基本原理需要系统掌握 •Armijo 准则和 Wolfe 准则的理解需要深入 •线搜索技术的实现需要结合具体算法 | 1.实现精确线搜索算法 2.实现基于 Armijo 准则的非精确线搜索算法 3.应用线搜索技术改进梯度下降算法的性能 | •笔试：线搜索技术的原理和方法 •应用题：应用线搜索技术改进优化算法的性能 |
14 | 信赖域方法 | •理解信赖域方法的基本原理和迭代步骤 •掌握信赖域子问题的求解方法 •理解信赖域半径的调整策略 •能够应用信赖域方法解决优化问题 | 建议 14 小时（理论学习 7 小时，练习 7 小时） | 1.国家高等教育智慧教育平台《最优化理论与方法》第十三章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《最优化方法》第十三讲 https://www.icourse163.org/course/detail.htm?cid=1206412801 3.《Numerical Optimization》（Jorge Nocedal、Stephen J. Wright） | •信赖域方法的基本原理需要系统掌握 •信赖域子问题的求解需要深入理解 •信赖域半径的调整策略需要结合具体问题 | 1.实现信赖域方法求解无约束优化问题 2.分析信赖域方法与线搜索方法的异同 3.应用信赖域方法解决实际优化问题 | •笔试：信赖域方法的原理和迭代步骤 •应用题：应用信赖域方法解决实际优化问题 |
15 | 罚函数法 | •理解罚函数法的基本原理和类型 •掌握外罚函数法和内罚函数法的迭代步骤 •理解罚参数对收敛性的影响 •能够应用罚函数法解决有约束优化问题 | 建议 14 小时（理论学习 7 小时，练习 7 小时） | 1.国家高等教育智慧教育平台《最优化理论与方法》第十四章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《最优化方法》第十四讲 https://www.icourse163.org/course/detail.htm?cid=1206412801 3.《最优化理论与方法》（袁亚湘、孙文瑜） | •罚函数法的基本原理需要系统掌握 •外罚函数法和内罚函数法的迭代步骤需要深入理解 •罚参数的选择对收敛性的影响需要结合具体问题 | 1.实现外罚函数法求解有约束优化问题 2.实现内罚函数法求解有约束优化问题 3.比较外罚函数法和内罚函数法的性能和适用场景 | •笔试：罚函数法的原理和迭代步骤 •应用题：应用罚函数法解决实际优化问题 |
优化理论在人工智能中的应用 | 16 | 机器学习中的优化问题 | •理解机器学习中的优化问题建模 •掌握监督学习、无监督学习和强化学习中的优化方法 •理解正则化在机器学习中的作用 •能够应用优化理论解决机器学习中的实际问题 | 建议 18 小时（理论学习 9 小时，练习 9 小时） | 1.《机器学习》（周志华） 2.中国大学 MOOC《机器学习》（北京大学） https://www.icourse163.org/course/PKU-1002188003 3.《深度学习》（Ian Goodfellow、Yoshua Bengio、Aaron Courville） | •机器学习中的优化问题建模需要系统掌握 •不同机器学习任务中的优化方法需要深入理解 •正则化的作用和实现需要结合具体模型 | 1.应用梯度下降法训练线性回归模型 2.应用牛顿法训练逻辑回归模型 3.应用优化理论分析机器学习模型的过拟合问题 | •笔试：机器学习中的优化问题建模 •应用题：应用优化理论解决机器学习中的实际问题 |
17 | 深度学习中的优化方法 | •理解深度学习中的优化挑战（如梯度消失、梯度爆炸、局部最小值等） •掌握深度学习中常用的优化算法（如 Adagrad、Adadelta、RMSProp、Adam） •理解学习率调整策略对模型训练的影响 •能够应用优化理论解决深度学习中的实际问题 | 建议 20 小时（理论学习 10 小时，练习 10 小时） | 1.《深度学习》（Ian Goodfellow、Yoshua Bengio、Aaron Courville） 2.中国大学 MOOC《深度学习》（北京大学） https://www.icourse163.org/course/PKU-1206420809 3.深度学习优化算法综述（CSDN 博客） https://blog.csdn.net/qq_38961840/article/details/148998020 | •深度学习中的优化挑战需要系统掌握 •不同优化算法的原理和适用场景需要深入理解 •学习率调整策略的实现需要结合具体模型 | 1.实现不同的优化算法（如 Adam、Adagrad） 2.比较不同优化算法在深度学习模型训练中的性能 3.应用学习率调整策略提高模型训练效果 | •笔试：深度学习中的优化方法 •应用题：应用优化理论解决深度学习中的实际问题 |
18 | 强化学习中的优化方法 | •理解强化学习中的优化问题建模 •掌握策略梯度法的基本原理和实现步骤 •理解值函数优化方法（如 Q-learning、SARSA） •能够应用优化理论解决强化学习中的实际问题 | 建议 16 小时（理论学习 8 小时，练习 8 小时） | 1.《强化学习：原理与 Python 实现》（王树森等） 2.中国大学 MOOC《强化学习》（清华大学） https://www.icourse163.org/course/THU-1206422809 3.强化学习中的优化方法（CSDN 博客） https://blog.csdn.net/qq_38961840/article/details/148998020 | •强化学习中的优化问题建模需要系统掌握 •策略梯度法的原理和实现需要深入理解 •值函数优化方法的收敛性分析需要结合具体算法 | 1.实现策略梯度算法解决简单的强化学习问题 2.实现 Q-learning 算法解决简单的强化学习问题 3.应用优化理论分析强化学习算法的收敛性 | •笔试：强化学习中的优化方法 •应用题：应用优化理论解决强化学习中的实际问题 |
高级优化方法 | 19 | 随机优化方法 | •理解随机优化问题的基本概念和特点 •掌握随机梯度下降法的基本原理和收敛性分析 •理解随机优化方法在大规模数据中的应用 •能够应用随机优化方法解决实际问题 | 建议 16 小时（理论学习 8 小时，练习 8 小时） | 1.国家高等教育智慧教育平台《最优化理论与方法》第十五章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《最优化方法》第十五讲 https://www.icourse163.org/course/detail.htm?cid=1206412801 3.《Stochastic Optimization》（Dimitri P. Bertsekas） | •随机优化问题的基本概念需要系统掌握 •随机梯度下降法的收敛性分析需要深入理解 •随机优化方法在大规模数据中的应用需要结合具体案例 | 1.实现随机梯度下降法求解大规模优化问题 2.分析随机梯度下降法的收敛性 3.应用随机优化方法解决实际问题 | •笔试：随机优化方法的原理和收敛性分析 •应用题：应用随机优化方法解决实际问题 |
20 | 分布式优化 | •理解分布式优化的基本概念和应用场景 •掌握分布式梯度下降法的基本原理和实现步骤 •理解数据并行和模型并行在分布式优化中的应用 •能够应用分布式优化方法解决实际问题 | 建议 14 小时（理论学习 7 小时，练习 7 小时） | 1.中国大学 MOOC《分布式机器学习》（清华大学） https://www.icourse163.org/course/THU-1206422809 2.分布式优化算法综述（CSDN 博客） https://blog.csdn.net/qq_38961840/article/details/148998020 3.《Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers》（Stephen Boyd 等） | •分布式优化的基本概念需要系统掌握 •分布式梯度下降法的实现需要深入理解 •数据并行和模型并行的适用场景需要结合具体问题 | 1.实现分布式梯度下降法求解优化问题 2.比较数据并行和模型并行的性能 3.应用分布式优化方法解决实际问题 | •笔试：分布式优化的原理和方法 •应用题：应用分布式优化方法解决实际问题 |
21 | 非凸优化 | •理解非凸优化问题的基本概念和挑战 •掌握非凸优化问题的常用求解方法 •理解局部最优和全局最优的关系 •能够应用非凸优化方法解决实际问题 | 建议 16 小时（理论学习 8 小时，练习 8 小时） | 1.国家高等教育智慧教育平台《最优化理论与方法》第十六章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《最优化方法》第十六讲 https://www.icourse163.org/course/detail.htm?cid=1206412801 3.《Nonconvex Optimization》（Panos M. Pardalos、Min-Yen Kao） | •非凸优化问题的基本概念需要系统掌握 •非凸优化问题的求解方法需要深入理解 •局部最优和全局最优的关系需要结合具体问题 | 1.分析非凸优化问题的特点和挑战 2.应用不同的非凸优化方法求解同一问题 3.比较不同非凸优化方法的性能和适用场景 | •笔试：非凸优化的原理和方法 •应用题：应用非凸优化方法解决实际问题 |
优化理论前沿与综合应用 | 22 | 优化理论与深度学习理论 | •理解优化理论在深度学习理论中的应用 •掌握神经网络中的优化问题建模 •理解深度学习中的优化挑战和解决方案 •能够应用优化理论分析和改进深度学习模型 | 建议 16 小时（理论学习 8 小时，练习 8 小时） | 1.中国大学 MOOC《深度学习理论》（清华大学） https://www.icourse163.org/course/THU-1206422809 2.深度学习中的优化理论（CSDN 博客） https://blog.csdn.net/qq_38961840/article/details/148998020 3.《深度学习理论与实践》（李沐等） | •优化理论在深度学习理论中的应用需要系统掌握 •神经网络中的优化问题建模需要深入理解 •深度学习中的优化挑战和解决方案需要结合具体案例 | 1.应用优化理论分析深度学习模型的训练过程 2.应用优化理论改进深度学习模型的性能 3.设计基于优化理论的深度学习模型 | •笔试：优化理论与深度学习理论 •应用题：应用优化理论改进深度学习模型 |
23 | 优化理论与图神经网络 | •理解优化理论在图神经网络中的应用 •掌握图神经网络中的优化问题建模 •理解图结构数据的优化挑战和解决方案 •能够应用优化理论分析和改进图神经网络模型 | 建议 14 小时（理论学习 7 小时，练习 7 小时） | 1.中国大学 MOOC《图神经网络》（上海交通大学） https://www.icourse163.org/course/SJTU-146021 2.图神经网络中的优化方法（CSDN 博客） https://blog.csdn.net/qq_38961840/article/details/148998020 3.《图神经网络：基础、前沿与应用》（王飞跃等） | •优化理论在图神经网络中的应用需要系统掌握 •图神经网络中的优化问题建模需要深入理解 •图结构数据的优化挑战和解决方案需要结合具体案例 | 1.应用优化理论分析图神经网络的训练过程 2.应用优化理论改进图神经网络的性能 3.设计基于优化理论的图神经网络模型 | •笔试：优化理论与图神经网络 •应用题：应用优化理论改进图神经网络模型 |
24 | 优化理论与大语言模型 | •理解优化理论在大语言模型中的应用 •掌握大语言模型中的优化问题建模 •理解大语言模型的优化挑战和解决方案 •能够应用优化理论分析和改进大语言模型 | 建议 18 小时（理论学习 9 小时，练习 9 小时） | 1.中国大学 MOOC《大语言模型》（北京大学） https://www.icourse163.org/course/PKU-1206422809 2.大语言模型中的优化方法（CSDN 博客） https://blog.csdn.net/qq_38961840/article/details/148998020 3.《大语言模型：原理与应用》（李航等） | •优化理论在大语言模型中的应用需要系统掌握 •大语言模型中的优化问题建模需要深入理解 •大语言模型的优化挑战和解决方案需要结合具体案例 | 1.应用优化理论分析大语言模型的训练过程 2.应用优化理论改进大语言模型的性能 3.设计基于优化理论的大语言模型训练策略 | •笔试：优化理论与大语言模型 •应用题：应用优化理论改进大语言模型 |
参考资料
[1] 人工智能研究生课程库-CSDN博客 https://blog.csdn.net/2501_92511251/article/details/148764974
[2] 课程内容预览 http://gsmis.njust.edu.cn/Open/CourseBrief.aspx?EID=EcOyPuYEn7vAmMwEBm72jGPsfPfxHlhC
[3] 课程 - 国家高等教育智慧教育平台 https://higher.smartedu.cn/course/65fa1386bb5c5a8025bd34c5
[4] 课程大纲-教务系统 https://jwba.ucas.ac.cn/sc/course/courseplan/234495
[5] 华东师范大学2025年考研大纲:085410人工智能(信息学部) - 考研营 https://m.kaoyanying.com/dagang/175490.html
[6] 人工智能课程教学大纲-20250522.docx - 人人文库 https://m.renrendoc.com/paper/422600632.html
[7] 2025人工智能教学大纲.docx - 人人文库 https://m.renrendoc.com/paper/415035965.html
[8] Introduction to Optimization (Accelerated) https://online.stanford.edu/courses/mse211x-introduction-optimization-accelerated
[9] Optimization Theory (DATA 620020) https://luoluo-sds.github.io/teaching/data620020.html
[10] Optimization Algorithms Courses and Certifications https://www.classcentral.com/subject/optimization-algorithms
[11] Artificial Intelligence MS - Curriculum https://www.rit.edu/study/curriculum/bde7d69b-21bd-420b-a2a6-89e6feda6036
[12] 最优化理论与方法_南京大学_中国大学MOOC(慕课) https://www.icourse163.org/course/NJU-1465971171?outVendor=zw_mooc_pclszykctj_
[13] 最优化方法_中国大学MOOC(慕课) https://www.icourse163.org/course/detail.htm?cid=1206412801
[14] 最优化理论与方法-云大学堂-云南大学智慧教育平台 https://course.ynu.edu.cn/learn/course/preview/spoc/43a76e9d13c84a5088a0261a86f0a346
[15] 优化技术_北京理工大学_中国大学MOOC(慕课) https://www.icourse163.org/course/0802BIT170-1471755171?outVendor=zw_mooc_pclszykctj_
[16] 工程优化方法及其应用-研究生精品课程展示 http://jpkc.xjtu.edu.cn/jpkc2023/sxxy/ggxwk/zyhxkc/gcyhffjqyy.htm
[17] 用AI将学习效率提升500%，3个月修完2年课程 附完整提示词教程-抖音 https://www.iesdouyin.com/share/video/7533550696512097551/?did=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&from_aid=1128&from_ssr=1&iid=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&mid=7533551002717588266®ion=&scene_from=dy_open_search_video&share_sign=4frtTneONKoa_ba_JhW4jWJCkbx3xF3E3EbsAl5MyoQ-&share_track_info=%7B%22link_description_type%22%3A%22%22%7D&share_version=280700&titleType=title&ts=1755954666&u_code=0&video_share_track_ver=&with_sec_did=1
[18] 中国大学mooc脚本推荐-抖音 https://www.iesdouyin.com/share/video/7316534690003897641/?did=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&from_aid=1128&from_ssr=1&iid=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&mid=7316534866835770121®ion=&scene_from=dy_open_search_video&share_sign=.UdDQWefNtL0LuJvOJDbwBOrfzQ6PnyKTZExiCutmLs-&share_track_info=%7B%22link_description_type%22%3A%22%22%7D&share_version=280700&titleType=title&ts=1755954666&u_code=0&video_share_track_ver=&with_sec_did=1
[19] Convex Optimization I https://summer.stanford.edu/courses/computer-science-and-engineering/convex-optimization-i
[20] Convex Optimization https://www.studyhive.com/courses/stanford/soe-yeecvx101-convex-optimization
[21] Convex Optimization https://www.careervira.com/course/convex-optimization
[22] EE5606 Convex Optimization https://people.iith.ac.in/shashankvatedka/html/courses/2025/EE5606/course_details.html
[23] Convex optimization and applications https://moodlearchive.epfl.ch/2018-2019/enrol/index.php?id=14397
[24] Convex Optimization https://opencourser.com/course/taydav/convex-optimization
[25] 【亲测免费】 最优化理论与方法(袁亚湘) 资源下载-CSDN博客 https://blog.csdn.net/gitblog_06652/article/details/143393961
[26] 最优化理论与方法 下载 - 机器学习 - 经管之家(原人大经济论坛) - 手机版 https://bbs.pinggu.org/thread-13740936-1-1.html
[27] 《最优化基础理论与方法》王燕军,梁治安【www.wq1.net】【pdf】 - 电子书虫 http://ord.33file.com/39907.html
[28] 【免费下载】 最优化理论与方法教材(东北大学出版社)-CSDN博客 https://blog.csdn.net/gitblog_06653/article/details/143345216
[29] 最优化方法 (2022年秋季)(pdf) http://faculty.bicmr.pku.edu.cn/~wenzw/optbook/lect/07-lect-theory2.pdf
[30] 高教社产品信息检索系统 https://xuanshu.hep.com.cn/front/book/findBookDetails?bookId=66be39c274ce561611bda4a1
[31] 《最优化方法》李学文,闫桂峰,李庆娜【www.wq1.net】【pdf】 - 电子书虫 http://ord.33file.com/39906.html
[32] Stanford Engineering Everywhere | EE364A - Convex Optimization I | Lecture 19 - Interior-Point Methods (Cont.) https://see.stanford.edu/Course/EE364A/88
[33] Lecture 11 Convex Optimization Ii Stanford Youtube https://otosection.com/lecture-11-convex-optimization-ii-stanford-youtube/
[34] EE364a: Convex Optimization I https://web.stanford.edu/class/ee364a/
[35] StanfordOnline: Convex Optimization https://www.edx.org/learn/engineering/stanford-university-convex-optimization?correlationId=2af0780b-f46f-4a66-919a-add48fc18275
[36] 最优化原理(笔记)-CSDN博客 https://blog.csdn.net/m0_74728220/article/details/140596769
[37] 专业学习|最优化理论(目标函数、约束条件以及解题三板斧)-CSDN博客 https://blog.csdn.net/weixin_63253486/article/details/145257925
[38] 优化挑战应对术 - CSDN文库 https://wenku.csdn.net/column/2df3d8mibq
[39] 【性能优化高手】 - CSDN文库 https://wenku.csdn.net/column/3hgxvbpwqp
[40] 【优化策略速成】:掌握顶尖算法专家的实战优化秘诀 - CSDN文库 https://wenku.csdn.net/column/62124xj3k6
[41] 机器学习中的最优化:实战转换，从理论到应用 - CSDN文库 https://wenku.csdn.net/column/45cfpsgkgk
[42] 自我反思 -抖音 https://www.iesdouyin.com/share/video/7474517756906376485/?did=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&from_aid=1128&from_ssr=1&iid=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&mid=6811685864175847437®ion=&scene_from=dy_open_search_video&share_sign=lLSCAr5UJExqTkAIfPZQwgKBAvX0xnsHA9FVMAzZOqg-&share_track_info=%7B%22link_description_type%22%3A%22%22%7D&share_version=280700&titleType=title&ts=1755954713&u_code=0&video_share_track_ver=&with_sec_did=1
[43] 约束优化技术:KKT条件的完整推导与应用-CSDN博客 https://blog.csdn.net/Shockang/article/details/146269571
[44] kkt条件例题求最优解_对KKT条件的理解-CSDN博客 https://blog.csdn.net/weixin_42495057/article/details/112323813
[45] KKT条件-CSDN博客 https://blog.csdn.net/qq_44154915/article/details/134435060
[46] （KKT）条件和内点法 凸优化算法 https://www.iesdouyin.com/share/video/7330171684311354674/?did=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&from_aid=1128&from_ssr=1&iid=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&mid=7330171839523146546®ion=&scene_from=dy_open_search_video&share_sign=Q3tYWBvAx79SVJN6jYif6cMfHWm0lUDssDQOYjBj5hg-&share_track_info=%7B%22link_description_type%22%3A%22%22%7D&share_version=280700&titleType=title&ts=1755954713&u_code=0&video_share_track_ver=&with_sec_did=1
[47] KKT条件-抖音 https://www.iesdouyin.com/share/video/7258152169042349331/?did=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&from_aid=1128&from_ssr=1&iid=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&mid=7258152331932339002®ion=&scene_from=dy_open_search_video&share_sign=yJMnc9KJwU_QyTZW7IpC5VB1HfwUK1oMBDUb7g8f3SU-&share_track_info=%7B%22link_description_type%22%3A%22%22%7D&share_version=280700&titleType=title&ts=1755954713&u_code=0&video_share_track_ver=&with_sec_did=1
[48] 一个视频带你全面了解 TK 网络，从 S5 协议、中转原理到专线，一步搞懂网络通信机制，轻松理解。 -抖音 https://www.iesdouyin.com/share/video/7541244614213209354/?did=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&from_aid=1128&from_ssr=1&iid=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&mid=7541244745905900315®ion=&scene_from=dy_open_search_video&share_sign=FyBH3.7gQjJqRNeyWP6evjpd4uOolVrQAqaTpYGEGZ0-&share_track_info=%7B%22link_description_type%22%3A%22%22%7D&share_version=280700&titleType=title&ts=1755954713&u_code=0&video_share_track_ver=&with_sec_did=1
[49] 拉格朗日对偶问题如何直观理解？KKT条件、Slater条件、凸优化-抖音 https://www.iesdouyin.com/share/video/7016637504564546853/?did=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&from_aid=1128&from_ssr=1&iid=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&mid=0®ion=&scene_from=dy_open_search_video&share_sign=Zh9EShElQqGMretAO0foRzVNzgNrXREdtOINaQqzOVQ-&share_track_info=%7B%22link_description_type%22%3A%22%22%7D&share_version=280700&titleType=title&ts=1755954713&u_code=0&video_share_track_ver=&with_sec_did=1
