在线学AI

人工智能数学基础：信息论

人工智能数学基础-信息论补习课程表

发表时间：2025-08-22 23:20作者：雨季

人工智能数学基础-信息论补习课程表

人工智能数学基础：信息论

一、课程概述

信息论是人工智能领域的核心数学基础，为处理复杂数据和优化模型提供了理论框架。在机器学习、深度学习、自然语言处理等 AI 子领域中，信息论被广泛应用于特征选择、模型评估、损失函数设计和数据压缩等关键环节。对于希望在人工智能领域有所建树的工程师而言，扎实的信息论基础是必不可少的。

本课程表旨在帮助有工作经验但基础薄弱的学习者系统掌握信息论知识，从基础概念到高级应用，结合人工智能实际需要，构建完整的知识体系。通过循序渐进的学习，学习者将能够理解和应用信息论的基本理论与方法，为进一步学习机器学习、深度学习等 AI 核心技术打下坚实的数学基础。

1.1 学习目标

通过本课程的学习，你将能够：

理解信息论的基本概念和理论框架，掌握信息的度量、传输和压缩的基本原理

掌握熵、互信息、相对熵等核心概念及其数学性质

理解信道容量、信源编码和信道编码定理等经典信息论模型

应用信息论方法解决机器学习中的特征选择、模型评估和优化问题

理解信息论在深度学习中的应用，如交叉熵损失函数、信息瓶颈理论等

能够将信息论知识应用于人工智能领域的实际问题中

1.2 学习路径说明

本课程表按照从易到难、知识依赖关系设计，共分为八个学习模块，每个模块包含若干知识点。学习时应严格按照顺序进行，前一个模块是后一个模块的基础。每个知识点都包含学习要求、学习时长建议、学习资源、难点总结、课后练习和过关考试，确保全面掌握。

1.3 学习资源说明

本课程表推荐的学习资源包括：

国内高校优质 MOOC 课程

国际知名大学公开课

经典教材及配套辅导书

人工智能领域信息论应用案例解析

数学软件使用教程（如 Python 信息论库）

二、学习建议

2.1 学习方法建议

理论联系实际：信息论的概念较为抽象，学习时应结合具体的人工智能应用场景，如机器学习中的特征选择、决策树学习，深度学习中的交叉熵损失函数等，加深对理论知识的理解。

多做练习：信息论是一门需要大量练习的学科，应通过大量的习题巩固所学知识，特别是熵、互信息的计算，信源编码和信道编码的设计等。

使用数学软件：学习过程中应结合 Python 等数学软件进行计算和验证，提高解决实际问题的能力。推荐使用的库包括 NumPy（矩阵运算）、SciPy（科学计算）、Scikit-learn（机器学习）、TensorFlow/PyTorch（深度学习）等。

理解概念本质：避免死记硬背公式和定理，应深入理解概念的本质和内在联系，如熵与不确定性的关系，互信息与相关性的区别等。

定期总结：定期对所学知识进行总结，建立知识框架，梳理各知识点之间的联系，形成完整的知识体系。

2.2 学习工具推荐

数学软件：强烈建议一边学习理论，一边用编程工具练习！！！

Python 科学计算库：NumPy（矩阵运算）、SciPy（统计模块）、Matplotlib（可视化）

机器学习库：Scikit-learn（机器学习算法）、TensorFlow/PyTorch（深度学习框架）

信息论库：Scikit-learn 中的互信息计算模块、PyTorch 中的交叉熵损失函数

学习平台：

国家高等教育智慧教育平台：提供大量优质的信息论课程

中国大学 MOOC：汇聚国内多所高校的信息论相关课程

Coursera、edX：提供国际知名大学的信息论和人工智能课程

辅助学习工具：

数学公式编辑器：帮助编写和理解复杂的数学公式

思维导图工具：帮助梳理知识结构和概念关系

在线计算工具：如 Wolfram Alpha、RapidTables 等

2.3 学习进度管理

制定学习计划：根据课程表的安排，制定详细的学习计划，合理分配每天的学习时间，确保按时完成学习目标。

阶段性目标：将整个学习过程分为若干阶段，每个阶段设定明确的学习目标，如完成一个模块的学习并通过相应的过关考试。

学习记录：记录每天的学习内容、遇到的问题和解决方法，便于复习和总结。

定期复习：定期复习已学内容，强化记忆，避免遗忘，特别是熵、互信息、信源编码和信道编码等核心内容。

模拟考试：在每个模块学习结束后，进行模拟考试，检验学习效果，及时发现和解决问题。

三、鼓励

本课程表系统地梳理了人工智能领域所需的信息论知识，从基础概念到高级应用，结合实际案例，帮助学习者建立扎实的信息论基础。通过按照本课程表的顺序学习，你将能够掌握信息论的核心概念和方法，并能够应用这些知识解决人工智能领域的实际问题。

信息论是人工智能的基石，也是提升逻辑思维和问题解决能力的重要工具。希望本课程表能够帮助你克服学习困难，建立对信息论的兴趣和信心，为未来的人工智能学习和研究打下坚实的数学基础。

记住，学习数学需要耐心和坚持，遇到困难时不要气馁，多思考、多练习、多交流，相信你一定能够掌握这门重要的数学工具！
若过程中有任何疑问，可关注公众号（iLearnAI）进专家群交流，不要放弃！

四、课程表

详细的学习课程如下：

大类	序号	知识点	学习要求	学习时长建议	学习资源	难点总结	课后练习	过关考试
信息论基础概念	1	概率统计基础复习	•理解随机变量、概率分布和联合分布的概念 •掌握期望、方差和协方差的计算方法 •理解条件概率和贝叶斯定理 •能够应用概率统计知识解决简单问题	建议 12 小时（理论学习 6 小时，练习 6 小时）	1.国家高等教育智慧教育平台《概率统计》第一章 https://higher.smartedu.cn/course/671ad55c16d8a05eedca459a 2.中国大学 MOOC《概率论与数理统计》（铜陵学院） https://higher.smartedu.cn/course/671ad55c16d8a05eedca459a 3.《概率论与数理统计》（浙江大学，第四版）	•概率分布的抽象概念需要结合具体例子理解 •条件概率的计算需要系统掌握 •贝叶斯定理的应用需要深入理解	1.计算离散型和连续型随机变量的期望和方差 2.应用贝叶斯定理解决简单分类问题 3.计算联合概率和条件概率	•笔试：概率统计基础知识 •应用题：应用概率统计知识解决实际问题
	2	信息的度量：熵	•理解信息熵的概念和定义 •掌握熵的数学表达式和性质 •能够计算离散型和连续型随机变量的熵 •理解熵的物理意义和应用场景	建议 14 小时（理论学习 7 小时，练习 7 小时）	1.国家高等教育智慧教育平台《信息论基础》第二章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《信息论》第二讲 https://www.icourse163.org/course/detail.htm?cid=1450725281 3.《信息论基础》（第二版）作者：Thomas M. Cover，机械工业出版社	•熵的定义较为抽象，需要结合具体例子 •熵的性质（如非负性、对称性）需要系统掌握 •连续型随机变量的微分熵与离散熵的区别需要深入理解	1.计算给定概率分布的熵值 2.比较不同概率分布的熵大小 3.应用熵的概念分析实际问题（如数据不确定性分析）	•笔试：熵的概念和计算 •应用题：应用熵的概念分析数据不确定性
	3	联合熵、条件熵与互信息	•理解联合熵和条件熵的概念 •掌握互信息的定义和性质 •能够计算联合熵、条件熵和互信息 •理解互信息在特征选择中的应用	建议 16 小时（理论学习 8 小时，练习 8 小时）	1.国家高等教育智慧教育平台《信息论基础》第三章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《信息论》第三讲 https://www.icourse163.org/course/detail.htm?cid=1450725281 3.《信息论基础》（第二版）作者：Thomas M. Cover，机械工业出版社	•联合熵和条件熵的关系需要深入理解 •互信息的计算需要系统掌握 •互信息在特征选择中的应用需要结合具体例子	1.计算给定联合分布的联合熵、条件熵和互信息 2.应用互信息进行特征选择（如 Iris 数据集） 3.证明互信息的对称性和非负性	•笔试：联合熵、条件熵和互信息的计算 •应用题：应用互信息进行特征选择
	4	相对熵与交叉熵	•理解相对熵（KL 散度）的概念和定义 •掌握交叉熵的定义和性质 •能够计算相对熵和交叉熵 •理解相对熵和交叉熵在机器学习中的应用	建议 14 小时（理论学习 7 小时，练习 7 小时）	1.国家高等教育智慧教育平台《信息论基础》第四章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《信息论》第四讲 https://www.icourse163.org/course/detail.htm?cid=1450725281 3.《信息论基础》（第二版）作者：Thomas M. Cover，机械工业出版社	•相对熵的非对称性需要深入理解 •交叉熵与熵的关系需要系统掌握 •相对熵和交叉熵在机器学习中的应用需要结合具体例子	1.计算两个概率分布的相对熵和交叉熵 2.应用交叉熵作为损失函数进行简单分类任务 3.证明相对熵的非负性（使用 Jensen 不等式）	•笔试：相对熵和交叉熵的计算和性质 •应用题：应用交叉熵损失函数解决分类问题
信息论基本定理	5	渐近均分性定理（AEP）	•理解渐近均分性定理的概念和意义 •掌握 AEP 的数学表达式和证明思路 •能够应用 AEP 分析信源编码问题 •理解典型集的概念和性质	建议 12 小时（理论学习 6 小时，练习 6 小时）	1.国家高等教育智慧教育平台《信息论基础》第五章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《信息论》第五讲 https://www.icourse163.org/course/detail.htm?cid=1450725281 3.《信息论基础》（第二版）作者：Thomas M. Cover，机械工业出版社	•AEP 的数学证明较为复杂，需要系统掌握 •典型集的概念需要结合具体例子理解 •AEP 在信源编码中的应用需要深入理解	1.应用 AEP 证明信源编码定理的可达性 2.计算典型集的大小和概率 3.分析 AEP 在数据压缩中的应用	•笔试：渐近均分性定理的概念和应用 •应用题：应用 AEP 分析数据压缩问题
	6	数据压缩与信源编码定理	•理解信源编码的概念和目标 •掌握信源编码定理的内容和证明 •理解 Kraft 不等式及其应用 •能够应用信源编码定理分析数据压缩问题	建议 16 小时（理论学习 8 小时，练习 8 小时）	1.国家高等教育智慧教育平台《信息论基础》第六章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《信息论》第六讲 https://www.icourse163.org/course/detail.htm?cid=1450725281 3.《信息论基础》（第二版）作者：Thomas M. Cover，机械工业出版社	•信源编码定理的逆定理证明需要系统掌握 •Kraft 不等式的应用需要结合具体例子 •最优码长的界需要深入理解	1.设计 Huffman 编码对给定信源进行压缩 2.应用 Kraft 不等式证明唯一可译码的存在性 3.计算信源的熵率和压缩率	•笔试：信源编码定理的内容和应用 •应用题：设计 Huffman 编码进行数据压缩
	7	信道容量与信道编码定理	•理解信道模型和信道容量的概念 •掌握信道容量的计算方法 •理解信道编码定理的内容和意义 •能够应用信道容量分析通信系统性能	建议 18 小时（理论学习 9 小时，练习 9 小时）	1.国家高等教育智慧教育平台《信息论基础》第七章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《信息论》第七讲 https://www.icourse163.org/course/detail.htm?cid=1450725281 3.《信息论基础》（第二版）作者：Thomas M. Cover，机械工业出版社	•信道容量的计算需要系统掌握 •信道编码定理的证明较为复杂 •信道容量在实际通信系统中的应用需要深入理解	1.计算二进制对称信道（BSC）和二进制删除信道（BEC）的容量 2.应用信道编码定理分析通信系统的可靠性 3.设计简单的信道编码方案（如 Hamming 码）	•笔试：信道容量和信道编码定理 •应用题：应用信道容量分析通信系统性能
信息论高级主题	8	微分熵与连续信源	•理解微分熵的概念和定义 •掌握微分熵与离散熵的区别和联系 •理解连续信源的熵率和压缩定理 •能够应用微分熵分析连续信号处理问题	建议 14 小时（理论学习 7 小时，练习 7 小时）	1.国家高等教育智慧教育平台《信息论基础》第八章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《信息论》第八讲 https://www.icourse163.org/course/detail.htm?cid=1450725281 3.《信息论基础》（第二版）作者：Thomas M. Cover，机械工业出版社	•微分熵的概念较为抽象，需要结合具体例子 •微分熵的性质与离散熵的异同需要系统掌握 •连续信源的压缩定理需要深入理解	1.计算高斯分布、均匀分布的微分熵 2.应用微分熵分析连续信号的不确定性 3.比较微分熵与离散熵的异同	•笔试：微分熵的概念和计算 •应用题：应用微分熵分析连续信号处理问题
	9	高斯信道与率失真理论	•理解高斯信道的模型和容量 •掌握率失真理论的基本概念 •理解率失真函数的计算方法 •能够应用率失真理论分析有损压缩问题	建议 16 小时（理论学习 8 小时，练习 8 小时）	1.国家高等教育智慧教育平台《信息论基础》第九章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《信息论》第九讲 https://www.icourse163.org/course/detail.htm?cid=1450725281 3.《信息论基础》（第二版）作者：Thomas M. Cover，机械工业出版社	•高斯信道容量的计算需要系统掌握 •率失真函数的求解较为复杂 •率失真理论在有损压缩中的应用需要深入理解	1.计算高斯信道的容量 2.应用率失真理论分析图像压缩问题 3.设计简单的有损压缩方案	•笔试：高斯信道和率失真理论 •应用题：应用率失真理论分析有损压缩问题
	10	网络信息论基础	•理解网络信息论的基本概念 •掌握多址接入信道和广播信道的容量区域 •理解中继信道和干扰信道的模型 •能够应用网络信息论分析复杂通信系统	建议 14 小时（理论学习 7 小时，练习 7 小时）	1.国家高等教育智慧教育平台《信息论基础》第十章 https://higher.smartedu.cn/course/678842c7225d72705e643a6f 2.中国大学 MOOC《信息论》第十讲 https://www.icourse163.org/course/detail.htm?cid=1450725281 3.《信息论基础》（第二版）作者：Thomas M. Cover，机械工业出版社	•网络信道模型的理解需要结合具体例子 •容量区域的计算较为复杂 •网络信息论在实际系统中的应用需要深入理解	1.分析多址接入信道的容量区域 2.应用网络信息论分析无线传感器网络性能 3.设计简单的多用户通信方案	•笔试：网络信息论基础概念 •应用题：应用网络信息论分析复杂通信系统
信息论在机器学习中的应用	11	信息增益与决策树学习	•理解信息增益的概念和计算方法 •掌握 ID3 算法和 C4.5 算法的原理 •能够应用信息增益构建决策树模型 •理解信息增益在特征选择中的应用	建议 16 小时（理论学习 8 小时，练习 8 小时）	1.中国大学 MOOC《机器学习》（北京大学）第十一讲 https://www.icourse163.org/course/PKU-1002188003?tid=1472399493 2.CSDN 博客《信息论在机器学习中的应用案例》 https://blog.csdn.net/qq_38961840/article/details/148998020 3.《统计学习方法》（第二版）作者：李航，清华大学出版社	•信息增益的计算需要系统掌握 •决策树的递归构建过程需要深入理解 •连续特征的离散化处理需要系统掌握	1.应用信息增益构建决策树解决分类问题（如 Iris 数据集） 2.比较信息增益与基尼系数的异同 3.分析决策树的过拟合问题及解决方法	•笔试：信息增益和决策树学习 •应用题：应用信息增益构建决策树解决实际问题
	12	互信息与特征选择	•理解互信息在特征选择中的应用原理 •掌握基于互信息的特征选择方法 •能够应用互信息进行特征排序和筛选 •理解互信息与相关性的区别	建议 14 小时（理论学习 7 小时，练习 7 小时）	1.CSDN 博客《基于互信息的特征选择》 https://blog.csdn.net/l35633/article/details/145533757 2.《机器学习》（周志华）第六章 https://book.douban.com/subject/26708119/ 3.中国大学 MOOC《机器学习》（北京大学）第十二讲 https://www.icourse163.org/course/PKU-1002188003?tid=1472399493	•互信息的计算需要系统掌握 •特征选择的评价指标需要深入理解 •高维数据中的特征选择计算复杂度问题	1.应用互信息进行特征选择（如 UCI 数据集） 2.比较互信息与皮尔逊相关系数的异同 3.设计基于互信息的特征选择算法	•笔试：互信息与特征选择 •应用题：应用互信息进行特征选择
	13	交叉熵损失函数与分类模型	•理解交叉熵损失函数的原理和应用 •掌握交叉熵在分类问题中的作用 •能够推导交叉熵损失函数的梯度 •理解交叉熵与极大似然估计的关系	建议 16 小时（理论学习 8 小时，练习 8 小时）	1.CSDN 博客《交叉熵损失函数》 https://blog.csdn.net/qq_38961840/article/details/148998020 2.《深度学习》（花书）第五章 https://book.douban.com/subject/27051056/ 3.中国大学 MOOC《深度学习》（北京大学）第六章 https://www.icourse163.org/course/PKU-1206420809	•交叉熵损失函数的推导需要系统掌握 •交叉熵与极大似然估计的关系需要深入理解 •多分类问题的交叉熵计算需要系统掌握	1.推导交叉熵损失函数的梯度 2.应用交叉熵损失函数训练逻辑回归模型 3.比较交叉熵损失函数与均方误差的异同	•笔试：交叉熵损失函数 •应用题：应用交叉熵损失函数解决分类问题
	14	信息瓶颈理论	•理解信息瓶颈理论的基本概念 •掌握信息瓶颈方法的数学原理 •能够应用信息瓶颈理论分析机器学习模型 •理解信息瓶颈在特征提取中的应用	建议 14 小时（理论学习 7 小时，练习 7 小时）	1.中国大学 MOOC《机器学习中的信息论方法》 https://www.icourse163.org/course/detail.htm?cid=1450725281 2.《信息瓶颈理论》论文（Tishby et al. 2000） https://arxiv.org/abs/cond-mat/0004447 3.CSDN 博客《信息瓶颈理论及其应用》 https://blog.csdn.net/qq_38961840/article/details/148998020	•信息瓶颈理论的数学推导较为复杂 •拉格朗日乘数法的应用需要系统掌握 •信息瓶颈在实际模型中的应用需要深入理解	1.推导信息瓶颈的优化目标函数 2.应用信息瓶颈理论分析简单神经网络 3.设计基于信息瓶颈的特征提取方法	•笔试：信息瓶颈理论 •应用题：应用信息瓶颈理论分析机器学习模型
信息论在深度学习中的应用	15	自编码器与信息压缩	•理解自编码器的结构和原理 •掌握自编码器的信息压缩机制 •能够应用信息论分析自编码器的性能 •理解自编码器在特征学习中的应用	建议 16 小时（理论学习 8 小时，练习 8 小时）	1.《深度学习》（花书）第十四章 https://book.douban.com/subject/27051056/ 2.中国大学 MOOC《深度学习》（北京大学）第九章 https://www.icourse163.org/course/PKU-1206420809 3.CSDN 博客《自编码器与信息压缩》 https://blog.csdn.net/qq_38961840/article/details/148998020	•自编码器的编码和解码过程需要系统掌握 •信息论在自编码器中的应用需要深入理解 •自编码器的优化目标与信息瓶颈的关系	1.实现简单的自编码器模型（如 MNIST 数据集） 2.应用信息论分析自编码器的压缩性能 3.设计基于信息瓶颈的自编码器	•笔试：自编码器与信息压缩 •应用题：应用自编码器进行信息压缩
	16	交叉熵与生成对抗网络	•理解生成对抗网络（GAN）的基本原理 •掌握交叉熵在 GAN 训练中的应用 •能够推导 GAN 的损失函数 •理解 GAN 训练中的模式崩溃问题	建议 16 小时（理论学习 8 小时，练习 8 小时）	1.《生成对抗网络》（中文版）作者：Ian Goodfellow 等，清华大学出版社 2.中国大学 MOOC《深度学习》（北京大学）第十章 https://www.icourse163.org/course/PKU-1206420809 3.CSDN 博客《GAN 中的交叉熵损失函数》 https://blog.csdn.net/qq_38961840/article/details/148998020	•GAN 的对抗训练机制需要系统掌握 •交叉熵损失函数的推导需要深入理解 •GAN 训练的稳定性问题需要系统掌握	1.推导 GAN 的交叉熵损失函数 2.实现简单的 GAN 模型（如 MNIST 数据集） 3.分析 GAN 训练中的模式崩溃问题及解决方法	•笔试：交叉熵与生成对抗网络 •应用题：应用交叉熵损失函数训练 GAN 模型
	17	信息论与强化学习	•理解信息论在强化学习中的应用 •掌握信息熵在策略搜索中的作用 •能够应用互信息分析状态 - 动作对 •理解最大熵强化学习的原理	建议 14 小时（理论学习 7 小时，练习 7 小时）	1.中国大学 MOOC《强化学习》（清华大学） https://www.icourse163.org/course/THU-1206422809 2.CSDN 博客《信息论在强化学习中的应用》 https://blog.csdn.net/qq_38961840/article/details/148998020 3.《强化学习：原理与 Python 实现》作者：王树森等，机械工业出版社	•信息熵在策略搜索中的应用需要系统掌握 •最大熵强化学习的数学推导较为复杂 •信息论与强化学习的结合需要深入理解	1.应用信息熵正则化策略梯度算法 2.实现最大熵强化学习算法 3.分析信息论在探索 - 利用平衡中的作用	•笔试：信息论与强化学习 •应用题：应用信息论改进强化学习算法
信息论在自然语言处理中的应用	18	语言模型与交叉熵	•理解语言模型的基本概念 •掌握交叉熵在语言模型评估中的应用 •能够计算语言模型的困惑度 •理解神经语言模型中的信息论原理	建议 16 小时（理论学习 8 小时，练习 8 小时）	1.中国大学 MOOC《自然语言处理》（哈尔滨工业大学） https://www.icourse163.org/course/HIT-1002538001 2.CSDN 博客《语言模型与交叉熵》 https://blog.csdn.net/qq_38961840/article/details/148998020 3.《自然语言处理综论》（第二版）作者：宗成庆，清华大学出版社	•语言模型的困惑度计算需要系统掌握 •神经语言模型的训练过程需要深入理解 •交叉熵在语言模型中的应用需要系统掌握	1.计算 n-gram 语言模型的困惑度 2.应用交叉熵损失函数训练神经语言模型（如 RNN） 3.比较不同语言模型的性能	•笔试：语言模型与交叉熵 •应用题：应用交叉熵训练神经语言模型
	19	互信息与词向量表示	•理解互信息在词向量表示中的应用 •掌握基于互信息的词向量学习方法 •能够应用互信息分析词与词之间的关系 •理解互信息与共现矩阵的关系	建议 14 小时（理论学习 7 小时，练习 7 小时）	1.中国大学 MOOC《自然语言处理》（哈尔滨工业大学） https://www.icourse163.org/course/HIT-1002538001 2.CSDN 博客《互信息与词向量表示》 https://blog.csdn.net/qq_38961840/article/details/148998020 3.《自然语言处理综论》（第二版）作者：宗成庆，清华大学出版社	•互信息在词向量学习中的应用需要系统掌握 •共现矩阵的构建和处理需要深入理解 •互信息与词向量维度的关系需要系统掌握	1.计算词与词之间的互信息 2.应用互信息改进词向量表示（如 PMI-embedding） 3.比较不同词向量表示方法的性能	•笔试：互信息与词向量表示 •应用题：应用互信息改进词向量表示
	20	信息论与机器翻译	•理解信息论在机器翻译中的应用 •掌握互信息在统计机器翻译中的作用 •能够应用交叉熵评估翻译质量 •理解神经机器翻译中的信息瓶颈	建议 16 小时（理论学习 8 小时，练习 8 小时）	1.中国大学 MOOC《自然语言处理》（哈尔滨工业大学） https://www.icourse163.org/course/HIT-1002538001 2.CSDN 博客《信息论与机器翻译》 https://blog.csdn.net/qq_38961840/article/details/148998020 3.《统计自然语言处理》作者：宗成庆，清华大学出版社	•互信息在统计机器翻译中的应用需要系统掌握 •交叉熵在翻译质量评估中的应用需要深入理解 •神经机器翻译中的信息瓶颈需要系统掌握	1.应用互信息评估双语词典的质量 2.计算翻译模型的交叉熵损失 3.分析神经机器翻译中的信息瓶颈问题	•笔试：信息论与机器翻译 •应用题：应用信息论改进机器翻译模型
信息论前沿与综合应用	21	信息论与深度学习理论	•理解信息论在深度学习理论中的应用 •掌握神经网络中的信息流动分析 •能够应用互信息分析神经网络的表示能力 •理解信息瓶颈在深度学习中的应用	建议 16 小时（理论学习 8 小时，练习 8 小时）	1.中国大学 MOOC《深度学习理论》（清华大学） https://www.icourse163.org/course/THU-1206422809 2.CSDN 博客《信息论与深度学习理论》 https://blog.csdn.net/qq_38961840/article/details/148998020 3.《深度学习理论与实践》作者：李沐等，机械工业出版社	•神经网络中的信息流动分析需要系统掌握 •互信息在表示学习中的应用需要深入理解 •信息瓶颈在深度学习中的应用需要系统掌握	1.应用互信息分析神经网络各层的表示能力 2.设计基于信息瓶颈的深度学习模型 3.分析深度神经网络中的过拟合问题与信息压缩的关系	•笔试：信息论与深度学习理论 •应用题：应用信息论分析深度学习模型
	22	信息论与图神经网络	•理解信息论在图神经网络中的应用 •掌握图结构中的信息传播机制 •能够应用互信息分析图节点的表示 •理解图神经网络中的信息瓶颈问题	建议 14 小时（理论学习 7 小时，练习 7 小时）	1.中国大学 MOOC《图神经网络》（上海交通大学） https://www.icourse163.org/course/SJTU-146021 2.CSDN 博客《信息论与图神经网络》 https://blog.csdn.net/qq_38961840/article/details/148998020 3.《图神经网络：基础、前沿与应用》作者：王飞跃等，清华大学出版社	•图结构中的信息传播机制需要系统掌握 •互信息在图节点表示中的应用需要深入理解 •图神经网络中的信息瓶颈问题需要系统掌握	1.应用互信息分析图节点的表示质量 2.设计基于信息论的图神经网络模型 3.分析图神经网络中的过平滑问题与信息损失的关系	•笔试：信息论与图神经网络 •应用题：应用信息论改进图神经网络模型
	23	信息论与大语言模型	学习要求： •理解信息论在大语言模型中的应用 •掌握大语言模型中的信息压缩机制 •能够应用交叉熵评估大语言模型的性能 •理解大语言模型中的信息瓶颈理论	建议 18 小时（理论学习 9 小时，练习 9 小时）	1.中国大学 MOOC《大语言模型》（北京大学） https://www.icourse163.org/course/PKU-1206422809 2.CSDN 博客《信息论与大语言模型》 https://blog.csdn.net/qq_38961840/article/details/148998020 3.《大语言模型：原理与应用》作者：李航等，清华大学出版社	•大语言模型中的信息压缩机制需要系统掌握 •交叉熵在大语言模型评估中的应用需要深入理解 •信息瓶颈理论在大语言模型中的应用需要系统掌握	1.计算大语言模型的困惑度 2.应用信息瓶颈理论分析大语言模型的参数效率 3.设计基于信息论的大语言模型压缩方法	•笔试：信息论与大语言模型 •应用题：应用信息论改进大语言模型性能

参考资料

[1] 青少年编程与数学 02-015 大学数学知识点 08课题、信息论-CSDN博客 https://blog.csdn.net/qq_40071585/article/details/146992830

[2] 信息与智能科学导论课件.pptx-原创力文档 https://m.book118.com/html/2025/0806/7143023011010143.shtm

[3] 信息论与编码课程.pptx - 人人文库 https://m.renrendoc.com/paper/409618117.html

[4] 人工智能 -课程简介+课程大纲模板.pptx-原创力文档 https://m.book118.com/html/2025/0318/5211240333012120.shtm

[5] 专科人工智能2025年课程体系解读，越来越实用，摆脱“天坑”从课程体系开始！-抖音 https://www.iesdouyin.com/share/video/7537241850869075258/?did=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&from_aid=1128&from_ssr=1&iid=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&mid=7537241848214358810&region=&scene_from=dy_open_search_video&share_sign=UJExSjXlaalZ7NbYTZFQR1lK2PJyiincgOfGh2jQ97o-&share_track_info=%7B%22link_description_type%22%3A%22%22%7D&share_version=280700&titleType=title&ts=1755875862&u_code=0&video_share_track_ver=&with_sec_did=1

[6] 新专业人工智能课程简介-抖音 https://www.iesdouyin.com/share/video/7529044139208346939/?did=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&from_aid=1128&from_ssr=1&iid=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&mid=7529044102772525843&region=&scene_from=dy_open_search_video&share_sign=tjuRFcGmvVn1IKAT5cyFQxl81NO45Xz6nE.ddfCbwHc-&share_track_info=%7B%22link_description_type%22%3A%22%22%7D&share_version=280700&titleType=title&ts=1755875862&u_code=0&video_share_track_ver=&with_sec_did=1

[7] 人工智能，必学教材有哪些？大学生-抖音 https://www.iesdouyin.com/share/video/7119058515536137502/?did=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&from_aid=1128&from_ssr=1&iid=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&mid=7119058607010040606&region=&scene_from=dy_open_search_video&share_sign=awXXet67bc1FrMrP7Bo8GP1TY.1tuDb_rMp.l3aII0Y-&share_track_info=%7B%22link_description_type%22%3A%22%22%7D&share_version=280700&titleType=title&ts=1755875862&u_code=0&video_share_track_ver=&with_sec_did=1

[8] 课程大纲-教务系统 https://jwba.ucas.ac.cn/sc/course/courseplan/254920

[9] 《基础信息论》教学大纲 https://eams.shanghaitech.edu.cn/eams/courseSearchOther!printInfo.action?syllabus.id=569

[10] 第 5 章信息论与熵，现有的人工智能技术与相对成熟的信息论(pdf) https://www.tup.tsinghua.edu.cn/upload/books/yz/084508-01.pdf

[11] 信息论在人工智能中的应用:时间序列分析与预测1.背景介绍时间序列分析和预测是人工智能领域中的一个重要研究方向，它涉及到 - 掘金 https://juejin.cn/post/7316589180263481353

[12] 信息与智能科学导论课件.pptx - 人人文库 https://www.renrendoc.com/paper/451728502.html

[13] 课程大纲-教务系统 https://jwba.ucas.ac.cn/sc/course/courseplan/209170

[14] 信息论与推理逻辑:人工智能的理性思维体系1.背景介绍信息论与推理逻辑是人工智能领域中的两个基本概念，它们共同构成了人工 - 掘金 https://juejin.cn/post/7315458644622819379

[15] 【AI中数学-信息论-综合实例】独自学习的艺术:基于信息论的无监督学习探索-CSDN博客 https://blog.csdn.net/l35633/article/details/145533757

[16] LLM笔记(四)信息论_llm 中的 cross entropy-CSDN博客 https://blog.csdn.net/weixin_51147313/article/details/148003340

[17] I-Con:统一表示学习的革命性框架 https://c.m.163.com/news/a/JU32N5VB0511DTVV.html

[18] I-CON:表示学习的统一框架 https://c.m.163.com/news/a/K5S6IUKH05567BBF.html

[19] 【硬核数学】5. AI如何像“上帝”一样思考?信息论揭秘决策的奥秘《从零构建机器学习、深度学习到LLM的数学认知》-CSDN博客 https://blog.csdn.net/qq_38961840/article/details/148998020

[20] 人工智能中信息论基础-抖音 https://www.iesdouyin.com/share/video/7253728262193548604/?did=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&from_aid=1128&from_ssr=1&iid=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&mid=7253728592620784441&region=&scene_from=dy_open_search_video&share_sign=ogmObXARCLlcv1njAMtg2l.6nR1tdFO1wQG_MgzHzmk-&share_track_info=%7B%22link_description_type%22%3A%22%22%7D&share_version=280700&titleType=title&ts=1755876014&u_code=0&video_share_track_ver=&with_sec_did=1

[21] 机器学习领域新霸主-抖音 https://www.iesdouyin.com/share/video/7532138759580552502/?did=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&from_aid=1128&from_ssr=1&iid=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&mid=7532138805017447231&region=&scene_from=dy_open_search_video&share_sign=weGdyiHwodV0rQmk1F_dQFeY7n25b.V.96OJ2bIiFyM-&share_track_info=%7B%22link_description_type%22%3A%22%22%7D&share_version=280700&titleType=title&ts=1755876014&u_code=0&video_share_track_ver=&with_sec_did=1

[22] 人工智能基础 http://staff.ustc.edu.cn/~jianmin/2025/ai2025/

[23] 人工智能_中国大学MOOC(慕课) https://www.icourse163.org/course/detail.htm?cid=1451659206

[24] Information theory 2023 https://heungno.net/?p=27834

[25] 人工智能原理_北京大学_中国大学MOOC(慕课) https://www.icourse163.org/course/PKU-1002188003?tid=1472399493

[26] 一般选修课-人工智能 https://fst.uic.edu.cn/ai/students/undergraduate_studies/curriculum/ybxxk.htm

[27] 人工智能导论-云大学堂-云南大学智慧教育平台 https://course.ynu.edu.cn/learn/course/preview/spoc/de21546ea0bb4680803efa5373ac836c

[28] AI已经进入上海公立学校课程表了，上海不愧是教育的桥头堡，快速落实ai教育，你怎么看-抖音 https://www.iesdouyin.com/share/video/7459441640143473955/?did=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&from_aid=1128&from_ssr=1&iid=MS4wLjABAAAANwkJuWIRFOzg5uCpDRpMj4OX-QryoDgn-yYlXQnRwQQ&mid=7459442285147736851&region=&scene_from=dy_open_search_video&share_sign=WxvN5rfflG_cMrhHDGe1TE7WAh4r07Mpp0NWdI7DaiM-&share_track_info=%7B%22link_description_type%22%3A%22%22%7D&share_version=280700&titleType=title&ts=1755876014&u_code=0&video_share_track_ver=&with_sec_did=1

分享到：

人工智能数学基础：信息论

人工智能数学基础-信息论 补习课程表

人工智能数学基础-信息论 补习课程表

一、课程概述

1.1 学习目标

1.2 学习路径说明

1.3 学习资源说明

二、学习建议

2.1 学习方法建议

2.2 学习工具推荐

2.3 学习进度管理

三、鼓励

四、课程表

人工智能数学基础-信息论补习课程表

人工智能数学基础-信息论补习课程表