littlepanda0716's recent timeline updates littlepanda0716's recent timeline updates |
littlepanda0716V2EX member #164555, joined on 2016-03-23 15:19:10 +08:00 |
| 利用清华 ChatGLM 做了基于本地知识的问答应用 编程 • littlepanda0716 • Jun 14, 2023 • Lastly replied by kanchi240 | 19 |
littlepanda0716's recent replies
Apr 12, 2023 Replied to a topic by littlepanda0716 › 编程 › 利用清华 ChatGLM 做了基于本地知识的问答应用 |
Apr 7, 2023 Replied to a topic by littlepanda0716 › 编程 › 利用清华 ChatGLM 做了基于本地知识的问答应用 |
@uilvn @cwyalpha 可以参考 github.com/THUDM/ChatGLM-6B#%E7%A1%AC%E4%BB%B6%E9%9C%80%E6%B1%82 选择适合显存资源的模型，除此之外 embedding 模型目前选用占用 3G 显存的版本，可以替换为其他小模型。
Apr 7, 2023 Replied to a topic by littlepanda0716 › 编程 › 利用清华 ChatGLM 做了基于本地知识的问答应用 |
@elppa chatglm 硬件需求可参考 https://github.com/THUDM/ChatGLM-6B#%E7%A1%AC%E4%BB%B6%E9%9C%80%E6%B1%82
除此之外 embedding 如果也在 gpu 上运行也需要 3G 左右的显存
除此之外 embedding 如果也在 gpu 上运行也需要 3G 左右的显存
Apr 7, 2023 Replied to a topic by littlepanda0716 › 编程 › 利用清华 ChatGLM 做了基于本地知识的问答应用 |
@WEAlex 不是再训练 是利用本地文档+embedding 构建索引，然后用问句语义到索引中匹配相近段落，再把段落作为上下文和问题一起提供给 llm
Apr 6, 2023 Replied to a topic by littlepanda0716 › 编程 › 利用清华 ChatGLM 做了基于本地知识的问答应用 |
@hellojay LLM 方面占用资源可以参考 ChatGLM 硬件需求： https://github.com/THUDM/ChatGLM-6B/blob/main/README.md#%E7%A1%AC%E4%BB%B6%E9%9C%80%E6%B1%82
embedding 模型在本项目中选用 GanymedeNil/text2vec-large-chinese ，在 GPU 上运行时约需要 3GB 显存，也可修改为 CPU 上运行或替换为其他 huggingface 中的 embedding 模型
embedding 模型在本项目中选用 GanymedeNil/text2vec-large-chinese ，在 GPU 上运行时约需要 3GB 显存，也可修改为 CPU 上运行或替换为其他 huggingface 中的 embedding 模型
Apr 6, 2023 Replied to a topic by littlepanda0716 › 编程 › 利用清华 ChatGLM 做了基于本地知识的问答应用 |
@infinityv 之前有考虑用 gpt index 做实现，但是后面发现 gpt index 不太灵活，就直接利用 langchain 做实现了，本质上类似于用 gpt index 做的应用。
Select Language