大铭 发表于 2023-3-11 03:32:21

调通了 OpenAI Embedding 生成和搜索，给外部资料引用做好了准备 调通之后

调通了 OpenAI Embedding 生成和搜索，给外部资料引用做好了准备调通之后，就可以把外部资料（文本格式）引入到 OpenAI 整个的引擎中，可以实现- 企业内部资料检索- 个人资料检索- 基于特定场景的客服- 和（多个）文档对话- 和某个名人对话（通过他的公开的博客等资料）数据接口已经完成- 通过 OpenAI Embedding 对短文档进行扫描（分段落）- [ ] 对长文档进行扫描- [ ] 多篇文档- 对扫码的文档进行搜索- [ ] 使用搜索结果组合对话查看了很多资料，包括- ChatPDF - OpenAI Embedding 官方文档- Embeddin
非会员试读19%,加入社区后可阅读全文

一叶 发表于 2023-3-11 08:41:58

问下，之前有个gpt index不能直接用吗？

大铭 发表于 2023-3-11 08:45:19

可以用，但是内部不透明（需要读源码，但是还没有时间），包装了很多东西，而且可控参数过多。

对话逻辑也并不完全和我想要的一样

对于我想深入这个工具来说，自己走一遍很有必要，这样我在做扩展时候心里有数

黄小刀 发表于 2023-3-11 09:45:17

大佬加个好友！！！

大铭 发表于 2023-3-11 09:46:04

我微信 yinwm_ 不知道你微信恢复没有

黄小刀 发表于 2023-3-11 09:47:02

我已经出小黑屋了！哈哈哈

Sunday 发表于 2023-3-11 12:09:19

求指教，怎么让chat gpt看外部或者长资料？

大铭 发表于 2023-3-11 13:17:07

这是两个问题
1. 外部文件，简单的说是不能直接读取，而是两个方法，一个是用fine tuning对新的文本进行训练，另一个是使用 embedding 对已有文本进行向量计算，然后对计算的向量个问题向量进行相似性对比

2. 对于 fine tuning 把长文本根据标准格式和场景切分，然后训练
对于embedding，切分长文本为合适的短文本，进行向量计算
页: [1]
查看完整版本: 调通了 OpenAI Embedding 生成和搜索，给外部资料引用做好了准备 调通之后