obsidian_vault/settings/archived/公司工作/2024年/3月份工作/大模型的知识普及.md

number headings

number headings
first-level 2, max 6, 1.1.

基础篇 - AI大模型的核心概念与基础使用

1. AI大模型是什么？

1. 想象有一个人，这个人在以下环境中长大
2. 情景
   1. 黑屋子，这个人听到‘peng’的一声，可能是没有任何反应，也可能哭起来。
   2. 广州城市，这个人听到‘peng’的一声，也许会想：“这是什么声音？”
   3. 广州城中村，这个人听到‘peng’的一声，也许会想：“谁家放鞭炮！”
   4. 以色列，这个人听到‘peng’的一声，可能会想：“我有没有中枪！”
3. 分析：
   1. 黑屋子里长大的，这个人的大脑没有任何处理信息的模式，与想法，他的大脑就是一个有机的结构复杂的神经运算网络。
   2. 下面三种，在特定的环境，人文条件下，长期大量信息训练出的，有固定处理信息模式的个体。
4. 总结
   1. 我们常见的大模型：ChatGPT，ChatGLM，文言一心，讯飞星火，LLAMA等等，都属于2，3，4这几种，即经过训练的神经运算网络
   2. 同样一个神经运算结构，没经过任何训练，对于信息的处理不可预期，取决于这些神经元初始化的参数。
5. 我们考虑一个大模型，
   1. 运算结构，参数量，可以处理更多的信息
   2. 训练数据，有更好的逻辑性，基础处理能力。

2. AI大模型能解决什么问题？

大模型 ==== 一个非常新的实习生

1. 实习生会成长，很快就能学会主动发现问题，尝试分析解决问题，
2. 大模型永远都只能按要求做事，而且要求说的不明白，他还干不好，

我刚刚毕业的时候，入职一家公司，我的带教导师给我一个程序开发任务，给了我一份文档里面详细的写了任务的要求：

任务的目标，”用户请求账户余额时，返回多两个字段，一周内支出总额，一周内的收入总额“。 详细的程序逻辑说明，如何获取原始数据，如何处理，循环解析出哪些字段，条件如何判断。 运行后，要校验哪些结果。

我做这项工作时，我不需要分析这个任务需要如何解决，我实际上只做了，生成一段代码，执行这段代码，生成校验结果。

如果他真的是给一个大模型布置任务，任务目标的描述可能就会改为：

帮我写一段COBOL程序 通过一个账号ID，得到近一周的消费记录，循环解析这个数组里的数据，分别统计type值为income和outcome的总金额 调用这段程序，传入参数‘AC33841’，校验返回值分别为income = 100, output = 200时，为正确

所以说：大模型，其实只会生成内容

根据用户给定的资料 按照用户给定的逻辑 生成用户想要的内容

3. 大模型应用核心概念与技术

3.1. 让大模型更好的工作

1. 再次教育
2. 清晰的描述用户需求
3. 提供足够，并且准确的数据，让AI可以有依据

3.2. 任务描述

提示词

3.3. 熟悉用户私有数据

embedding数据 & 原始数据 知识库，数据准备，标注

关于向量的一些问题

3.4. 再次教育

大模型的微调，就当成于是把一个直挺挺的松树砍成迎客松。 通过学习二次训练的业务场景的数据，这个模型的将更家适应这个业务场景的需求，或受到对应的约束。

4. 用起来

4.1. 可以生成哪些内容

1. 基本格式
   1. 文本内容
   2. 图片
   3. 语音
   4. 视频
2. 具体扩展
   1. 图片--》流程图--》程序调用顺序说明
   2. 文本--》代码--》SQL语句--》任务清单
   3. 语音--》唱一首歌

4.2. OLLAMA一个可以本地运行的AI模型工具

安装与运行 试验

5. 家校互动3.0 - 产品AI功能设计

5.1. AI教学辅助

1. 根据知识点，由AI生成教案
2. 根据教案中的知识点，讲解预习资料，提出思考问题！
3. 回复知识点，回顾预习过程中的问题，根据知识点，解答预习时的思考问题！
4. 作业对错分析，学生给出解题思路，AI判断对与错，统计知识点点的掌握情况。

5.2. AI综合分析

1. 复习与作业
2. 知识点掌握情况
3. 预习情况
4. 其他方面，如课堂表现、同学相处、行为举止，老师给出评价
5. AI汇总结出总结

6. 研发框架

1. 开发框架Langchain，大模型开发的spring
2. 模型
   1. 加载本地模型并调用
   2. 三方模型的接口调用
3. 支持不同的语言
   1. python官方原生支持
   2. javascript官司方原生支持
   3. dart
   4. golang
4. 处理AI大模型应用的
   1. 经验数据，embeddings，原生数据
   2. 任务描述数据, 提示词
   3. AI大模型调用代理Agent，处理用户的输入，整理模型的输出
5. 实操 // TO-PREPARE

进阶篇 - AI大模型的知识库应用

1. 单次处理的数据数量

如果一次布置了十几项任务，最后能记住几个就不错了。 AI大模型也会有这样的问题，接收一次任务的数据，不能超出限制。

2. Token - AI模型的表义单元

高阶篇 - 训练