需求：爬取豆瓣电影短评评论文本内容
目标：将爬取的文本存入 excel 中
爬虫步骤：
1.拼接分页网址，循环请求分页数据，获取HTML代码
2.分析获取到的HTML代码，解析出所需要的数据，提取内容
3.存储爬取到的数据
准备工作：
1.开发工具 pycharm
2.模块 requests、bs4或 pyquery
爬虫实际流程：
第一步：我们从豆瓣电影中选取一部电影（https://movie.douban.com/subject/35766491/），进入短评列表页面（https://movie.douban.com/subject/35766491/comments?status=P）
第二步：打开 f12开发者工具，我去取评论文本部分，查看网页结构。
目标评论文本部分对应的 class 类名为 comment，评论列表对应的类名为 comment-item
使用 pyquery 解析获取列表数据，代码如下：
form pyquery import PyQuery as pq
doc = pq(html)
comment_list = doc(‘.comment-item’).items()
For item in comment_list:
comment = item(‘.comment’).text()
内容来源于网络如有侵权请私信删除
文章来源: 博客园
- 还没有人评论，欢迎说说您的想法！
客服
