如何系统的深入 LLM？求资源

[lemoon]

虽然已经做了很多 LLM 的科研任务，但是感觉自己还是在纯打工，有些深度学习的基础，想进阶提升一下，没找到市面上有什么好课，求推荐
顺便求一下尚硅谷 AI 大模型课的资源，看课程大纲还不错？
http://www.atguigu.com/ai/

[kaiseryang]

可以多翻翻 langchain 的文档和代码

[fredweili]

楼上说的对，打 log 观察提示词

[Morriaty]

复旦出了一本 《大规模语言模型-从理论到实践》，不知道你看过没？讲的比较广，还介绍了分布式训练

[Yuhyeong]

debug 源码 + 看官方文档

[shinyzhu]

ollama 用起来，玩转才能学会。

[lemoon]

@Morriaty 谢谢提醒，刚出的时候就放购物车了一直忘了，下单了哈哈哈

[lemoon]

@kaiseryang @fredweili @Yuhyeong 感谢，先仔细看看文档了

[HardyN]

可以搞本西瓜书看着玩

[Morriaty]

@lemoon 有在线版的 https://intro-llm.github.io/

[reeco]

langchain ，ollama 都是应用层的东西，如果你要深入理解 LLM ，看这两个都没啥用，因为这两个本质上就是调 api 。
要系统得了解 LLM ，还是老老实实从理论开始看起，比如最基本的 《 attention is all you need 》，理解了它你才能看懂 transformer 的模型结构以及推理的代码。有了理论基础后再选个方向深入研究，比如推理部署，模型的结构设计，模型训练微调。现在代码资源很丰富的，没有理论基础，看起来会非常吃力。

[ETCartman]

https://github.com/rasbt/LLMs-from-scratch

[Morriaty]

顺便借楼主帖子，列下我自己看的，和大家互通有无

1. 一个博主的 blog ，快速了解 LLM 相关的概念和学习路径： https://gugehome.com/am.php?t=a8pslXGjYFhJ
2. 《动手学深度学习》，从最基础的 LR 开始一直到 DeepLearning： https://zh.d2l.ai/index.html
3. transformers 官方 nlp courses ，集中介绍 DL/LLM 如何做 NLP 任务，有机翻中文，https://huggingface.co/learn/nlp-course/en/chapter0/1?fw=pt
4. 复旦《大规模语言模型-从理论到实践》，主要介绍 LLM ，从 transformer 源码到分布式训练： https://intro-llm.github.io/
5. 《深度学习推荐系统》- 王喆，实体书，搜广推
6. 斯坦福大学 cs231n ，Deep Learning for Computer Vision ，据说是最好的 DL 课程，我还没看完，https://cs231n.github.io/convolutional-networks/
7. 苏神的博客，苏神应该是国内研究 ML/DL 理论比较深的了，写的博客也大多数是原理解析，需要比较深的学术背景 https://spaces.ac.cn/category/Big-Data/1/