把LangChain跑起来的3个方法

admin管理员组

文章数量:1567279

使用 LangChain 开发 LLM 应用时，需要机器进行 GLM 部署，好多同学第一步就被劝退了，那么如何绕过这个步骤先学习 LLM 模型的应用，对 Langchain 进行快速上手？本片讲解 3 个把 LangChain 跑起来的方法，如有错误欢迎纠正。

Langchain 官方文档地址：https://python.langchain/

基础功能

LLM 调用

• 支持多种模型接口，比如 OpenAI、HuggingFace、AzureOpenAI …
• Fake LLM，用于测试
• 缓存的支持，比如 in-mem（内存）、SQLite、Redis、SQL
• 用量记录
• 支持流模式（就是一个字一个字的返回，类似打字效果）

Prompt 管理，支持各种自定义模板

拥有大量的文档加载器，比如 Email、Markdown、PDF、Youtube …

对索引的支持

• 文档分割器
• 向量化
• 对接向量存储与搜索，比如 Chroma、Pinecone、Qdrand

Chains

• LLMChain
• 各种工具 Chain
• LangChainHub

详细地址可参考：
https://www.langchain/t/topic/35

测试 Langchain 工程的 3 个方法：

1 使用 Langchian 提供的 FakeListLLM

为了节约时间，直接上代码

这里 mock 下 ChatGPT, 使用 mockLLm

REPL 是 “Read–Eval–Print Loop”（读取 - 求值 - 打印 - 循环）的缩写，它是一种简单的、交互式的编程环境。

在 REPL 环境中，用户可以输入一条或多条编程语句，系统会立即执行这些语句并输出结果。这种方式非常适合进行快速的代码试验和调试。

2 使用 Langchian 提供的 HumanInputLLM，访问维基百科查询

使用维基百科工具

tools = load_tools(["wikipedia"])

这里必须要设置为中文 url 前缀，不然访问不了

set_lang("zh")

初始化 LLM

llm = HumanInputLLM(prompt_func=lambda prompt: print(f"\n===PROMPT====\n{prompt}\n=====END OF PROMPT======"))

初始化 agent

agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("喜羊羊")

3 使用 huggingface

https://huggingface.co/docs

\1. 注册账号

\2. 创建 Access Tokens

Demo：使用模型对文档进行摘要

这里 mock 下 ChatGPT, 使用 HUGGINGFACEHUB

os.environ["HUGGINGFACEHUB_API_TOKEN"] = config('HUGGINGFACEHUB_API_TOKEN')

导入文本

loader = UnstructuredFileLoader("docment_store\helloLangChain.txt")

将文本转成 Document 对象

document = loader.load()
print(f'documents:{len(document)}')

初始化文本分割器

切分文本

加载 LLM 模型

创建总结链

chain = load_summarize_chain(llm, chain_type="refine", verbose=True)

执行总结链

chain.run(split_documents)

Leader 所有的数据，本次日志对齐即完成。

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。

本文标签： 方法LangChain