调通了 OpenAI Embedding 生成和搜索，给外部资料引用做好了准备 调通之后

大铭

调通了 OpenAI Embedding 生成和搜索，给外部资料引用做好了准备

调通之后，就可以把外部资料（文本格式）引入到 OpenAI 整个的引擎中，可以实现
- 企业内部资料检索
- 个人资料检索
- 基于特定场景的客服
- 和（多个）文档对话
- 和某个名人对话（通过他的公开的博客等资料）

数据接口已经完成
- [x] 通过 OpenAI Embedding 对短文档进行扫描（分段落）
- [ ] 对长文档进行扫描
- [ ] 多篇文档
- [X] 对扫码的文档进行搜索
- [ ] 使用搜索结果组合对话

查看了很多资料，包括
- ChatPDF
- OpenAI Embedding 官方文档
- Embe

加入社区,可阅读全站10w+资源

您尚未登录，请登录后操作

 非会员试读19%,加入社区后可阅读全文 

一叶

问下，之前有个gpt index不能直接用吗？

大铭

可以用，但是内部不透明（需要读源码，但是还没有时间），包装了很多东西，而且可控参数过多。 对话逻辑也并不完全和我想要的一样 对于我想深入这个工具来说，自己走一遍很有必要，这样我在做扩展时候心里有数

黄小刀

大佬加个好友！！！

大铭

我微信 yinwm_ 不知道你微信恢复没有

黄小刀

我已经出小黑屋了！哈哈哈

Sunday

求指教，怎么让chat gpt看外部或者长资料？

大铭

这是两个问题 1. 外部文件，简单的说是不能直接读取，而是两个方法，一个是用fine tuning对新的文本进行训练，另一个是使用 embedding 对已有文本进行向量计算，然后对计算的向量个问题向量进行相似性对比 2. 对于 fine tuning 把长文本根据标准格式和场景切分，然后训练 对于embedding，切分长文本为合适的短文本，进行向量计算