会员服务
default sy_dh
在线客服
使用 gpt_index 训练了一个本地文件,然后和文件进行简单的搜索,还不能称 - AI副业赚钱 - 富裕者联盟社区 - Affiliate营销圈

2回答

0收藏

使用 gpt_index 训练了一个本地文件,然后和文件进行简单的搜索,还不能称

AI副业赚钱 AI副业赚钱 306 人阅读 | 2 人回复 | 2023-03-10

使用 gpt_index 训练了一个本地文件,然后和文件进行简单的搜索,还不能称之为对话

本来想直接用 OpenAI Embedding 接口,但是发现有 gpx_index 这个工具,就先用工具做了测试。可以读取本地的文件,PDF、txt 等都可以,然后进行索引

第一次尝试天龙八部,但是失败了。原因是直接使用 raw Document 进行的封装,并没有对 Token 进行 Chunks 拆解,导致很多过长,索引就很乱,比如问
Q:萧峰有几个兄弟?
A:萧峰有四个兄弟,乔峰、虚竹、XXX,XXX

Q:萧峰在聚贤庄干了什么?
A:萧峰在聚贤庄组织很多人一起学习功夫,修道

第二次直接使用内部的 SimpleDirectoryReader,读取文件,刘慈欣的《
[url=https://wx.zsxq.com/mweb/views/weread/search.htm











加入社区,可阅读全站10w+资源

 非会员试读20%,加入社区后可阅读全文 

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
分享到:
回复

使用道具 举报

回答|共 2 个

一叶

发表于 2023-3-10 19:03:04 | 显示全部楼层

问下,这个支持3.5的模型吗?我看官方的例子是3,价格好像比较贵
回复

使用道具 举报

大铭

发表于 2023-3-10 19:19:51 | 显示全部楼层

这个没用那个接口,这个我准备实验的是embedding接口,用Ada-002价格还可以,具体数据忘了,我再查查
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭