Generative AI for Beginners 入门第 1 课：生成式 AI 与大型语言模型（LLM）工作原理完全指南

Generative AI for Beginners 入门第 1 课生成式 AI 与大型语言模型LLM工作原理完全指南【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginners本课是整个《Generative AI for Beginners》21 课课程体系的开篇对应 01-introduction-to-genai 原始英文课件的希腊语译本 translations/el/01-introduction-to-genai/README.md系统讲解生成式 AIGenerative AI是什么、它与机器学习/深度学习的渊源以及大型语言模型LLM分词—预测—采样的底层工作机理。读完本文你将掌握 LLM 的 prompt / completion 基本用法与 temperature 等关键参数并能结合仓库中的 Python 示例立刻开始编写第一个基于大模型的文本生成应用。本课学习目标本课是Learn型课程聚焦概念理解覆盖四个核心话题引入贯穿全课程的商业场景——一家虚构教育创业公司的理念与使命生成式 AI 的历史脉络以及我们如何走到今天的技术格局大型语言模型的内部工作机制大型语言模型的主要能力与贴近实际的使用场景重点面向教育。完成本课后你将理解生成式 AI 是什么、大型语言模型如何工作以及如何针对不同用例尤其是教育场景使用 LLM。场景设定我们的教育创业公司课程以一个虚构创业公司文中称为我们的创业公司为主线。它身处教育领域使命宣言为在全世界范围内改善学习可及性保障人人平等获得教育机会并根据每位学习者的需求提供个性化学习体验。团队意识到不借助当代最强大的工具之一——大型语言模型LLMs——就无法实现这一目标。生成式 AI 有望重塑今天的教与学学生可以随时拥有 24 小时在线的虚拟老师获得海量信息与示例教师则能利用创新工具评估学生并给出反馈。仓库根目录 README.md 对整套课程做了定位说明共 21 课分为解释概念的 Learn 型课程与附带 Python/TypeScript 代码示例的 Build 型课程。本课即属于概念奠基性质的 Learn 型课程为后续 04-prompt-engineering-fundamentals提示工程、06-text-generation-apps文本生成应用等实践课程铺垫理论基础。我们是如何走到生成式 AI 这一步的尽管生成式 AI 模型近期引发了巨大轰动但这项技术已发展数十年最早的研究努力可追溯至上世纪 60 年代。今天我们已拥有具备类人认知能力如对话的 AI例如 ChatGPT 及基于 GPT 模型构建对话式搜索体验的 Microsoft Copilot。回顾演进路径大致可划分为四个阶段早期原型基于知识库的打字机式聊天机器人最早的 AI 原型是打字机式聊天机器人由专家群体整理出知识库并存入计算机系统根据输入文本中出现的关键词触发知识库中的对应答案。这种规则驱动的方式很快就暴露出致命弱点——不可扩展。统计方法机器学习20 世纪 90 年代转折点出现在 90 年代研究者开始把统计方法应用于文本分析由此发展出一类新算法——机器学习Machine Learning。机器学习算法能够从数据中学习模式而无需被显式编程。具体到语言理解一个统计模型在文本-标签配对数据上训练从而能把未知输入文本归类到代表消息意图的预定义标签。这条路线让机器得以模拟对人类语言的理解。神经网络与当代虚拟助手近年来硬件能力的飞跃使机器可处理更大规模数据与更复杂的计算推动高级机器学习算法——神经网络 / 深度学习算法的发展。其中循环神经网络RNN显著提升了自然语言处理能力它能结合词在句子中的上下文以更有意义的方式表示文本语义。正是这类技术支撑了本世纪初诞生的虚拟助手——它们擅长解读人类语言、识别需求并执行动作如按预设脚本应答或调用第三方服务来满足需求。当下生成式 AI从技术谱系看生成式 AI 可视为深度学习的子集经过数十年研究一种名为Transformer的新模型架构突破了 RNN 的局限能够处理长得多的输入文本序列。Transformer 建立在**注意力机制attention**之上模型可以对接收的输入赋予不同权重更多地关注信息最集中的部分而无需拘泥于它们在文本序列中的先后顺序。当今多数生成式 AI 模型——因其输入输出均为文本而被称为大型语言模型LLM——正是基于这一架构。它们在海量未标注数据书籍、文章、网站等多种来源上训练其迷人之处在于既能被适配到极其多样的任务上又能生成语法正确、带有创造力意味的文本。换言之Transformer 架构不仅大幅增强了机器理解输入文本的能力更赋予了机器用人类语言生成原创回答的能力。大型语言模型是如何工作的下一课将探讨不同类型的生成式 AI 模型参见 02-exploring-and-comparing-different-llms这里先以 OpenAI 的 GPTGenerative Pre-trained Transformer系列为焦点拆解 LLM 工作的三个关键环节。第一步Tokenizer——把文本变成数字LLM 接收文本、输出文本但它本质是统计模型处理数字远胜于处理字符序列。因此任何输入在进入模型核心之前都要先经过一个tokenizer。一个token是文本的一小段由可变数量的字符组成tokenizer 的核心任务就是把输入拆成一个 token 数组再把每个 token 映射为整数编码——即token index。仓库中 04-prompt-engineering-fundamentals/python/aoai-assignment.ipynb 的练习一就示范了如何用 OpenAI 开源 tokenizertiktoken亲手观察这一过程用tiktoken.encoding_for_model(gpt-4o)获取编码器后调用encoding.encode(text)得到整数形式的 token 序列再通过decode_single_token_bytes还原文本片段——可以直观验证一个 token ≠ 一个词也便于估算输入将消耗的 token 数。第二步预测输出 token——滑动窗口式的自回归给定 n 个 token 作为输入不同模型的最大 n 各不相同模型会预测一个输出 token该 token 会被并入下一轮迭代的输入形成窗口不断扩展的模式从而让用户获得一句或多句连贯的答复。这也解释了为何使用 ChatGPT 时偶尔会看到它在句子中间停顿——它其实是逐 token 续写、直到满足停止条件。第三步选择过程——概率分布与 temperature输出 token 依据它出现在当前文本序列之后的概率被选中模型基于训练习得的知识对所有可能的下一个 token预测一个概率分布。但并不总是选取概率最高的 token——模型会向选择过程注入一定随机性使其以**非确定性non-deterministic**方式工作即便输入完全相同输出也不会逐字一致。这种随机性是为了模拟创造性思维的过程并可通过一个名为temperature的模型参数进行调节。这一点不仅是理论概念也直接体现在本仓库各示例的 API 调用中。例如 06-text-generation-apps/python/oai-app-recipe.py 中生成食谱正文时使用temperature0.1让输出在稳定与适度变化间平衡生成购物清单时使用temperature0尽可能求得确定、忠实的结果。response client.responses.create( modeldeployment, inputprompt, max_output_tokens600, temperature0.1, storeFalse )06-text-generation-apps/python/aoai-assignment.ipynb 也解释了调参的通用规律temperature 越高输出越随机、越低越可预测并给出了示例要使用 0.5只需传入temperature0.5。实践时应当自问这个应用到底想要输出多样性还是可复现的稳定性需要变化用高值、需要稳定用低值。补充上下文窗口与 max_output_tokens除了 temperature另一个直接影响按 token 逐个生成体验的参数是可生成 token 数上限。上述 notebook 通过max_output_tokens控制每次回答的最大长度如max_output_tokens600或对话续写时的max_output_tokens1200。结合前面的 tokenizer 知识就很容易理解模型一次可处理的输入规模上下文窗口与单次生成的输出长度都受 token 预算约束所以设计 prompt 时也要把长文本的开销考虑进去。我们的创业公司能用 LLM 做什么我们已知 LLM 的核心能力是从一段用自然语言书写的文本输入出发、从零生成一段文本。那这里的输入与输出具体指什么输入称为prompt提示输出称为completion补全——该术语正对应了模型生成下一个 token 以完成当前输入的机制。关于什么是 prompt、如何设计 prompt 以最大化榨取模型能力将在后续课程深入展开见 04-prompt-engineering-fundamentals。这里先说明一个 prompt 可以包含多种内容形态。指令Instruction指定期望的输出类型指令可以有时也会内嵌示例或额外数据。典型用法包括摘要与信息抽取对文章、书籍、产品评论等做摘要并从非结构化数据中提炼洞察。创意构思与写作构思并起草一篇文章、一篇论文、一份作业等。这两种形态恰好对应教育场景的高频需求教师快速总结材料、生成讲义学生获得写作起点与灵感。问题Question以对话形式向智能体提问把 prompt 组织成与智能体对话的一问一答是交互类应用如答疑机器人的基础。后续课程 07-building-chat-applications 就会利用历史消息维护多轮对话上下文。待补全文本Text to complete给出一段未写完的文本模型按语感续写——这隐式地构成一次帮我写作的请求适合草稿续写、句子润色等辅助写作场景。代码Code相关请求可以是解释并注释这段代码也可以是请写一段完成某任务的代码。教育创业公司可用它辅助编程教学与代码审阅。课程同时强调上述示例都很简单远非 LLM 能力的穷尽演示目的仅是展示生成式 AI 的潜力——特别是但不限于教育场景。不能忽视的一面LLM 的固有局限生成式 AI 的输出并非完美。有时模型的创造力会反噬——它产出的可能是让用户觉得歪曲现实甚至冒犯的词语组合。要清醒地认识到生成式 AI并不智能——至少不符合包含批判性推理、创造性思维或情绪智力的广义智能定义它是非确定性的它并不可完全信赖——错误的引用、内容与陈述可能和正确信息混杂在一起并以极具说服力、信誓旦旦的口吻呈现。这类编造现象即业界所说的幻觉。整套课程会在后续专门处理这些限制与缓解手段03-using-generative-ai-responsibly 讨论负责任使用偏见、伤害与缓解框架04-prompt-engineering-fundamentals 则讲解如何通过提示词设计降低虚构等风险。这也解释了上一节为何要引入 temperature参数只是控制随机程度并不能根除幻觉。动手实践最小可运行的文本补全示例仓库 06-text-generation-apps/python/oai-app.py 给出了一个极其精简的文本补全应用正好演示prompt → completion最小闭环from openai import OpenAI import os from dotenv import load_dotenv # 从 .env 文件加载环境变量 load_dotenv() # 配置 OpenAI 客户端也可用于 Azure OpenAI v1 端点 client OpenAI() deployment gpt-4o-mini # 添加你的补全代码 prompt Complete the following: Once upon a time there was a # 使用 Responses API 发起请求 response client.responses.create(modeldeployment, inputprompt, storeFalse) # 打印响应 print(response.output_text)运行前需安装依赖并配置密钥。仓库为 Python 示例提供 requirements.txt核心依赖为openai与python-dotenv把 API Key 写入.env文件后由load_dotenv()加载。密钥配置方面shared/python/env_utils.py 提供了配套校验工具OPENAI_API_KEY、AZURE_OPENAI_ENDPOINT与AZURE_OPENAI_API_KEY等环境变量缺失时会给出明确报错shared/python/api_utils.py 的create_openai_client/create_azure_openai_client则会按环境变量自动组装客户端Azure 端点为endpoint/openai/v1/。环境搭建的完整指引参见 00-course-setup。课后练习设计你的梦想 AI 创业公司本课布置的作业是进一步了解生成式 AI找出一个今天还没有使用生成式 AI、但你认为应该引入的领域并思考——相比老办法影响有何不同是能做以前做不到的事还是只是更快请写一篇约 300 词的摘要描述你理想的 AI 创业公司并包含 Problem问题、How I would use AI我将如何使用 AI、Impact影响等小标题可选项是加入商业计划。知识自测关于大型语言模型下列说法正确的是每次都会得到完全相同的回答。它能完美地做任何事擅长做加法、能产出可运行代码等等。即使使用相同 prompt回答也可能不同它很擅长先给你一版草稿文本或代码但你需要在此基础上改进。答案A 3选项 3。LLM 是非确定性的回答会有变化不过你可以通过 temperature 参数控制变化的程度同时也不应期待它一次做对——它的价值在于替你完成繁重的基础工作通常是给你一版不错的初稿再交由你逐步打磨。下一步进入第 2 课完成本课后即可进入 第 2 课探索并比较不同类型的 LLM学习如何根据任务挑选模型。后续 03-using-generative-ai-responsibly 与 04-prompt-engineering-fundamentals 将分别补齐负责任使用与提示工程两块关键拼图随后 05-advanced-prompts、06-text-generation-apps 将带你进入真实应用的编码实战。【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginners创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考