aicloud
/
chinese-langchain
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
52 Commits 1 Branch 0 Tags 2.3 MiB
Python 84.2%
CSS 10.9%
JavaScript 4.9%
Go to file
yanqiangmiffy 7a63b2c114 update@todo 2023-04-20 02:54:56 +08:00
app_modules update@web_demo 2023-04-19 02:09:00 +08:00
assets feature@添加问答模式选择 2023-04-20 02:06:02 +08:00
clc feature@添加问答模式选择 2023-04-20 02:06:02 +08:00
corpus/zh_wikipedia update@发布Wikipedia知识库 2023-04-19 13:14:42 +08:00
docs feature@add searcht vs search+llm 2023-04-17 17:31:54 +08:00
images feature@创建hf应用 2023-04-20 02:24:47 +08:00
resources update@发布Wikipedia知识库 2023-04-19 13:14:42 +08:00
tests feature@添加websearch 2023-04-19 01:15:22 +08:00
.gitignore update 2023-04-18 17:44:03 +08:00
README.md update@todo 2023-04-20 02:33:06 +08:00
app.py update@todo 2023-04-20 02:54:56 +08:00
create_knowledge.py update@发布Wikipedia知识库 2023-04-19 13:14:42 +08:00
main.py update@todo 2023-04-20 02:54:56 +08:00
requirements.txt update@更新 requirements.txt 2023-04-19 22:26:01 +08:00

README.md

license title sdk emoji colorFrom colorTo pinned app_file
openrail Chinese-LangChain gradio 🚀 yellow yellow true app.py

Chinese-LangChain

Chinese-LangChain：中文langchain项目，基于ChatGLM-6b+langchain实现本地化知识库检索与智能答案生成

https://github.com/yanqiangmiffy/Chinese-LangChain

俗称：小必应，Q.Talk，强聊，QiangTalk

🔥 效果演示

🚋 使用教程

  • 选择知识库询问相关领域的问题

🏗️ 部署教程

运行配置

  • 显存：12g，实际运行9g够了
  • 运行内存：32g

运行环境

langchain
gradio
transformers
sentence_transformers
faiss-cpu
unstructured
duckduckgo_search
mdtex2html
chardet
cchardet

启动Gradio

python main.py

🚀 特性

  • 🔭 2023/04/20 支持模型问答与检索问答模式切换
  • 💻 2023/04/20 感谢HF官方提供免费算力，添加HuggingFace Spaces在线体验[🤗 DEMO
  • 🧫 2023/04/19 发布45万Wikipedia的文本预处理语料以及FAISS索引向量
  • 🐯 2023/04/19 引入ChuanhuChatGPT皮肤
  • 📱 2023/04/19 增加web search功能，需要确保网络畅通！(感谢@wanghao07456,提供的idea)
  • 📚 2023/04/18 webui增加知识库选择功能
  • 🚀 2023/04/18 修复推理预测超时5s报错问题
  • 🎉 2023/04/17 支持多种文档上传与内容解析：pdf、docx，ppt等
  • 🎉 2023/04/17 支持知识增量更新

🧰 知识库

构建知识库

  • Wikipedia-zh

详情见：corpus/zh_wikipedia/README.md

知识库向量索引

知识库数据 FAISS向量
中文维基百科截止4月份数据，45万 链接：https://pan.baidu.com/s/1VQeA_dq92fxKOtLL3u3Zpg?pwd=l3pn 提取码：l3pn
截止去年九月的130w条中文维基百科处理结果和对应faiss向量文件 @yubuyuabc 链接：https://pan.baidu.com/s/1Yls_Qtg15W1gneNuFP9O_w?pwd=exij 提取码：exij
💹 大规模金融研报知识图谱 链接：https://pan.baidu.com/s/1FcIH5Fi3EfpS346DnDu51Q?pwd=ujjv 提取码：ujjv

🔨 TODO

  • 支持上下文
  • 支持知识增量更新
  • 支持加载不同知识库
  • 支持检索结果与LLM生成结果对比
  • 支持检索生成结果与原始LLM生成结果对比
  • 支持模型问答与检索问答
  • 检索结果过滤与排序
  • 互联网检索结果接入
  • 模型初始化有问题
  • 增加非LangChain策略
  • 显示当前对话策略
  • 构建一个垂直业务场景知识库，非通用性

交流

欢迎多提建议、Bad cases，目前尚不完善，欢迎进群及时交流，也欢迎大家多提PR

❤️引用