走过路过不要错过，学不会没关系，长点见识也是可以的啦。

简介

本质

Python

实战

• 各位看官，现在又到了紧张的实战环节， 我狂铁贼六，又狂又头铁， 进可一打五，退可六分投。
  ​

• 首先介绍两个Python的三方模块requests, BeautifulSoup。

  • requests是一个网络请求库，用于实现上文说到的GET, POST等请求，官方文档点我。
  • BeautifulSoup库是一个网页文本解析模块，用于检索我们需要的内容， 官方文档点我。
  • pip install requests, pip install BeautifulSoup4分别安装这两个包。

• 入门教程从简， 以一个斗图网的表情包套图页面为例，实现该页面下所有图片的下载， 点我查看网页。

  • 先通过requests模块获取网页文本数据:

    import requests #  导入模块
    
    
    def get_html_text(url):  # 获取html文本内容
        """
        获取html文本
        :param url:
        :return:
        """
        return requests.get(url).text  # 这里通过GET请求拿到返回的网页文本内容
    
    
    if __name__ == '__main__':
        url = 'http://www.bbsnet.com/xiongmaoren-18.html'
        html_text = get_html_text(url)
        print(html_text)

     

    

  • 分析网页结构，鼠标对准图片，右键点检查元素, 如图:
    ​
    在右图中可以看到，所有的图片均包含在id=post_content的div标签里面, 然后其下面是一些p标签，img中src有图片的链接，点进去可以直接看到一张图片。
    ​
    现在要做的事情，就是提取这些图片链接，再通过GET请求和文件操作进行图片的保存。

  • 用BeautifouSoup查找这些图片的链接地址, 定义一个函数来完成这件事情:

    def get_images_urls(html_text):
        """
        获取图片链接
        :param html_text:
        :return:
        """
        urls = []   # 保存提取的url列表
        soup = BeautifulSoup(html_text, 'html.parser')  # 创建一个soup对象，可以打印出来看看里面的内容
        div_tag = soup.find('div', {'id': 'post_content'})  # 查找id=post_content的标签
        img_tag_list = div_tag.find_all_next('img')  # 查找div下面的所有img标签
        for img_tag in img_tag_list[:-4]:  # 观察找到结果发现从倒数第四个开始并不是表情包，所以只迭代到倒数第四个
            url = img_tag.attrs['src']   # 提取img标题的src元素的值
            urls.append(url)
        return urls

     

    

  • 然后需要定义一段代码，来完成图片的保存, 如下:

    def save_images(dir, urls):
        """
        保存图片
        :param urls:
        :return:
        """
        if not os.path.exists(dir):  # 使用os模块来判断文件夹是否存在，不存在则创建
            os.makedirs(dir)
        count = 1
        
        for url in urls:
            print('正在下载第{}张图片...'.format(str(count)))
            ext = url.split('.')[-1]  # 拿到图片的扩展名 
            filename = dir + '/' + str(count) + '.' + ext  # 拼接图片的存储路径
            content = requests.get(url).content  # 通过GET请求获取图片的二进制内容，注意拿网页源码时候是text
            with open(filename, 'wb') as f:  # 已写二进制的形式打开文件
                f.write(content)  # 将图片内容写入
            count += 1   # count 用于图片命名和计数，递增1

     

    

  • 代码运行结果:
    ​

  • 这时候就会有杠精说: 这一页不就15个图片嘛，我点几下就完事了，写个代码时间还比较长时间。又或者有虚心向学者问: 怎样爬取整个网站的图片或者某一分类下所有的图片。那么已斗图表情包分类下的图片为例子, 参照之前讲述的步骤, 看下网页结构:
    ​
    可以看到右侧我圈红的框内容包含了一些li标签，li标签对应的就算每一个封面图， 我们要找到的就是蓝钱画出来的url，对应之前代码的url, 只要我们把这些url都找出来，再调用我们之前的代码就可以下载所有的图片了, 当然这里还涉及分页， 分页的操作方法也是一样的，只要我们把下一页的链接找出来，再进行访问，直到找不到下一页为止。

  • 贴上爬取单个页面的完整代码，爬取分类的读者自己琢磨怎么去实现。

    # _*_coding:utf8_*_
    # Project: spider
    # File: main.py
    # Author: ClassmateLin
    # Email: 406728295@qq.com
    # 有项目的可以滴滴我, Python/Java/PHP/Go均可。WX： ClassmateYue
    # Time: 2020/2/21 4:54 下午
    # DESC:
    import requests
    import os
    from bs4 import BeautifulSoup
    
    
    def get_html_text(url):
        """
        获取html文本
        :param url:
        :return:
        """
        return requests.get(url).text
    
    
    def get_images_urls(html_text):
        """
        获取图片链接
        :param html_text:
        :return:
        """
        urls = []   # 保存提取的url列表
        soup = BeautifulSoup(html_text, 'html.parser')  # 创建一个soup对象，可以打印出来看看里面的内容
        div_tag = soup.find('div', {'id': 'post_content'})  # 查找id=post_content的标签
        img_tag_list = div_tag.find_all_next('img')  # 查找div下面的所有img标签
        for img_tag in img_tag_list[:-4]:  # 观察找到结果发现从倒数第四个开始并不是表情包，所以只迭代到倒数第四个
            url = img_tag.attrs['src']   # 提取img标题的src元素的值
            urls.append(url)
        return urls
    
    
    def save_images(dir, urls):
        """
        保存图片
        :param urls:
        :return:
        """
        if not os.path.exists(dir):  # 使用os模块来判断文件夹是否存在，不存在则创建
            os.makedirs(dir)
        count = 1
    
        for url in urls:
            print('正在下载第{}张图片...'.format(str(count)))
            ext = url.split('.')[-1]  # 拿到图片的扩展名
            filename = dir + '/' + str(count) + '.' + ext  # 拼接图片的存储路径
            content = requests.get(url).content  # 通过GET请求获取图片的二进制内容，注意拿网页源码时候是text
            with open(filename, 'wb') as f:  # 已写二进制的形式打开文件
                f.write(content)  # 将图片内容写入
            count += 1   # count 用于图片命名和计数，递增1
    
    
    if __name__ == '__main__':
        url = 'http://www.bbsnet.com/xiongmaoren-18.html'
        html_text = get_html_text(url)
        image_urls = get_images_urls(html_text)
        save_images('./images', image_urls)

     

    

• 还没有人评论，欢迎说说您的想法！

相关课程

Python入门到精通

7706 9.8元

[毕业设计不求人]Puthon智能点餐系统

5287 98元

Python进阶课程-Web基础开发

6799 9.8元