昨天看到个视频,弹幕挺有意思的,于是想着用Python给他全部扒下来。

代码非常简单,接下来我们看看 具体操作。

软件

  • Python 3.8
  • Pycharm

模块使用

  • import requests 数据请求
  • import jieba 分词
  • import wordcloud 词云
  • import parsel 数据解析
  • import re 正则

win + R 输入cmd 输入安装命令 pip install 模块名 (如果你觉得安装速度比较慢, 你可以切换国内镜像源)

本次目标

视频地址: https://www.bilibili.com/video/BV1Nz4y1x7tA/
弹幕内容: https://www.ibilibili.com/video/BV1Nz4y1x7tA/
弹幕地址: https://api.bilibili.com/x/v1/dm/list.so?oid=1205968547

流程步骤

基本实现步骤: <公式>

  1. 发送请求 --> 数据所对应链接地址
    https://api.bilibili.com/x/v1/dm/list.so?oid=1205968547
  2. 获取数据 --> 获取整个页面数据内容
  3. 解析数据 --> 提取具体数据内容
  4. 保存数据 --> 保存本地文件

模块导入# 数据请求模块 --> 第三方模块 需要安装 pip install requests

import requests   
# 导入正则表达式 --> 内置模块不需要安装
import re
# 导入数据解析模块 --> 第三方模块 需要安装 pip install parsel
# 视频讲解+代码我都打包好了,直接在这个q裙自取:708525271
import parsel

 

发送请求

# 请求链接
url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=1205968547'
# 调用requests模块里面get请求方法对于url地址发送请求
response = requests.get(url)
print(response)

 

获取数据

获取文本响应数据

print(response.text)

 

当我们获取数据出现乱码怎么办呢?

response .encoding = 'utf-8'

 

数据解析

正则匹配数据

re_content = re.findall('<d p=".*?">(.*?)</d>',html_data)
content = re.findall('<source>(.*?)</source>', html_data)
print(re_content)
print(content)

 

转化数据

把获取到响应文本数据,转成可解析对象。

selector = parsel.Selector(html_data) # 选择器对象

# d 标签名字 d::text -提取d标签里的文本内容
css_content = selector.css('d::text').getall()

print(selector)

 

保存数据

for content in css_content:
    # mode 保存方式 --> w写入数据, 会覆盖 a 追加保存
    with open('弹幕_1.txt', mode='a', encoding='utf-8') as f:
        f.write(content)
        f.write('n')
    print(content)

 

好了,今天的分享就到这里结束了,咱们下次见!

内容来源于网络如有侵权请私信删除
你还没有登录,请先登录注册
  • 还没有人评论,欢迎说说您的想法!