Frank老师 发表于 2023-3-12 10:53:20

请教各位大佬：如何使用ChatGPT有效实现爬虫？ChatGPT给出的爬虫代码，运行

请教各位大佬：如何使用ChatGPT有效实现爬虫？ChatGPT给出的爬虫代码，运行不报错，但总是拿不到结果。是否需要特定的限制要求呢？示例：下面是一个简单的Python爬虫示例，可以抓取国家药品监督管理局的新闻页面 https%3A%2F%2Fwww.nmpa.gov.cn%2Fylqx%2Fylqxjgdt%2Findex.html 并提取新闻标题和链接：给出的代码，运营无效：imp
非会员试读19%,加入社区后可阅读全文

Frank老师 发表于 2023-3-12 10:54:52

测试的网页是简单网页，不存在复杂的网页结构、反爬虫逻辑

大铭 发表于 2023-3-12 11:00:42

# 查找所有新闻标题和链接
news_list = soup.find_all('div', {'class': 'piclist2 clearfix'})

强烈怀疑这两句是胡写的

这个网页标题的部分是用一个 ul 结构，对应的 selector 是

#ariaqkarf74ykg0 > div.w1200-auto.bg-fff > div > div.list > ul

或者寻找 class 是 list 的 div 下的 ul 然后遍历其中的 li 即可

James 发表于 2023-3-12 11:25:50

爬虫里面还是带着业务的，已经不算是技术问题了，chatGPT应该是没有办法很好的帮你解决具体业务问题的，比如文章图片具体在哪个dom节点
页: [1]
查看完整版本: 请教各位大佬：如何使用ChatGPT有效实现爬虫？ChatGPT给出的爬虫代码，运行