大铭 发表于 2023-3-10 16:27:53

使用 gpt_index 训练了一个本地文件，然后和文件进行简单的搜索，还不能称

使用 gpt_index 训练了一个本地文件，然后和文件进行简单的搜索，还不能称之为对话本来想直接用 OpenAI Embedding 接口，但是发现有 gpx_index 这个工具，就先用工具做了测试。可以读取本地的文件，PDF、txt 等都可以，然后进行索引第一次尝试天龙八部，但是失败了。原因是直接使用 raw Document 进行的封装，并没有对 Token 进行 Chunks 拆解，导致很多过长，索引就很乱，比如问Q：萧峰有几个兄弟？A：萧峰有四个兄弟，乔峰、虚竹、XXX，XXXQ：萧峰在聚贤庄干了什么？A：萧峰在聚贤庄组织很多人一起学习功夫，修道第二次直接使用内部的 Sim
非会员试读19%,加入社区后可阅读全文

一叶 发表于 2023-3-10 19:03:04

问下，这个支持3.5的模型吗？我看官方的例子是3，价格好像比较贵

大铭 发表于 2023-3-10 19:19:51

这个没用那个接口，这个我准备实验的是embedding接口，用Ada-002价格还可以，具体数据忘了，我再查查
页: [1]
查看完整版本: 使用 gpt_index 训练了一个本地文件，然后和文件进行简单的搜索，还不能称