提示:本文是我参加datawhale活动的读书笔记,这是第一章的阅读笔记
文章目录
- 前言
- 一、深度学习能做什么?
- 二、教学案例
- 总结
前言
随着大数据和算力的大幅提升,基于数据学习的解决方案正取代基于人工设计的解决方案
提示:以下是本篇文章正文内容,下面案例可供参考
一、深度学习能做什么?
作者举例如下几个例子:
- 图像分类:医疗检查
- 蛋白质结构预测:生物医学领域突破,节省大量人力
- 图像合成:人脸伪造
- 大语言模型
作者具体用了一个大语言模型生成莎士比亚的对话例子,来展示大语言模型的强大
二、教学案例
作者以多项式拟合曲线为例引入,这个例子感觉像记单词中的abandon(非常常见 )
- 线性模型:
- 误差函数
- 过拟合:能够很好的识别训练数据,但是无法对测试数据的预测效果不佳,数据集越大,过拟合现象约不明显
- 启发式经验:训练数据点的数量应至少是模型参数的若干倍(不一定准确)
- 正则化项:通过设置在损失函数中添加一个惩罚项来控制权重大小
这里的 λ \lambda λ用来衡量误差和与正则化项之间的 - k折交叉技术:简单来说把其分为k份,其中一份用作测试,其他用做训练。如此反复选择不同的一份作为测试进行k次
- 自动微分:什么是自动微分?- ariseffa
补充知识:计算图
总结
由于还有期末考试,这次对于历史介绍部分,我基本掠过,这本书阅读体验暂时来看挺好(萌新瑟瑟发抖 )教学案例的安排使得阅读与实践相结合,推荐。
这里仔细回顾了一下计算图的概念,发现了其本质的东西,就是链式求导。