标签:Python语言
一般的的静态HTML页面可以使用requests等库直接抓取,但还有一部分比较复杂的动态页面,这些页面的DOM是动态生成的,有些还需要用户与其点击互动,这些页面只能使用真实的浏览器引擎动态解析,Selenium和Chrome Headless可以很好的达到这种目的。 Headless Chrome
今天在写一个StringIO.write(int)示例时思维那么一发散就拐到了字符集的问题上,顺手搜索一发,除了极少数以外,绝大多数中文博客都解释的惨不忍睹,再鉴于被此问题在oracle的字符集体系中蹂躏过,因此在过往笔记的基础上增删了几个示例贴出来。 Python2: 首先清楚
只对当前文件有效的操作:菜单栏->View -> Active Editor -> Use Soft Wraps; 如果想对所有文件都有效,就要在setting里面进行操作:File-> Setting-> Editor-> General -> Use s
写在前面 很高兴我这系列的文章写道第18篇了,今天写一个爬虫爱好者特别喜欢的网站煎蛋网http://jandan.net/ooxx,这个网站其实还是有点意思的,网站很多人写了N多的教程了,各种方式的都有,当然网站本身在爬虫爱好者的不断进攻下,也在不断的完善,反爬措施也很多,今天我用selenium在
目录 1. URL的组成 2. 贴吧爬虫2.1. 只爬贴吧第一页 2.2. 爬取所有贴吧的页面 3. GET和POST的区别3.1. GET请求 3.3. POST请求 1. URL的组成 汉字通过URL encode(UTF-8)编码出来的编码,里面的字符全是打字节 如果你复制粘贴下来这个网址
删除 # ==================删除==================# 只能删除文件,若为目录则报错# 若文件正在使用,Windows下会直接报错,Linux下会在目录表中删除记录,但文件还在# 与os.unlink()一样的作用os.remove(r"C:U
请求勾子   在客户端和服务器交互的过程中,有些准备工作或扫尾工作需要处理,比如:    *在请求开始时,建立数据库连接;    *在请求开始时,根据需求进行权限校验;    *在请求结束时,指定数据的交互格式;   为了让每个视图函数避免编写重复功能的代码,Flask提供了通用设施的功能,即请求钩
目录 1. urllib.request的基本使用1.1 urlopen 1.2. 用urlopen来获取网络源代码 1.3. urllib.request.Request的使用 2. User-Ageng的使用-模拟浏览器发送请求2.1) 为什么要用User-Agent? 2.2) 如何添加Us
    Blueprint     蓝图的基本设想是当它们注册到应用上时,它们记录将会被执行的操作。 当分派请求和生成从一个端点到另一个的 URL 时,Flask 会关联蓝图中的视图函数。     简单来说,Blueprint 是一个存储操作方法的容器,这些操作在这个Blueprint 被注册到一个
01 元组   1 用途:当我们需要记录多个同种属性的值,并且只有读的需求时,应该用元组   2 定义方式:在()内用逗号分隔开多个任意类型的元素     t = ('egon',) # t = tuple(('egon'))     # 注意:当元组内只有一个元素时,必须加逗号     数据类型转
Python的初学者,开发者都应该知道的代码可读性提高技巧,本篇主要介绍了如下内容: PEP 8是什么以及它存在的原因 为什么你应该编写符合PEP 8标准的代码 如何编写符合PEP 8的代码   为什么我们需要PEP 8? PEP 8 的存在是为了提高Python代码的可读性的。但为什么可读性如
目录 1. 为什么要学习numpy? 2. Numpy基本用法2.1. 创建np.ndarry 2.2. Indexing and SlicingBoolean Index 2.3. Universal Functions 2.4. Array-oriented 2.5. Mathematical
(1)首先进入cmd,输入pip install yagmail (2)思路:1 、连接服务器:yagmail.SMTP(邮箱账号,邮箱密码,邮箱服务器地址,邮箱服务器端口)                     2 、准备正文内容:contents="XXXXXXXX"            
分别用while循环和for循环来玩转猜数字游戏 1.对于限定猜数字次数 (1)while循环  number = 56 count = 0while count < 3:   guess_number = int(input("guess number:"))   if gues
CMD终端关于pip报错,scrapy报错的一种处理方法 如果在终端输入pip,或scrapy,报如下错误: Fatal error in launcher: Unable to create process using '"' 这通常是因为你的电脑装了两个版本的python(python2.x和p
Python开发IDE:pycharm   ,eclipse 快捷键:Ctrl+?整体注释 一·运算符   +(加)   -(减)  *(乘)   /(除)  **(幂)  %(余)   //(商)     判断某个东西是否在某个东西里边   in        not in   结果:布尔值  
Python的基本数据类型有数字(Number),字符串(string),列表(List)、集合(Set),元组(Tuple)和字典(Dictionary)。   数字:1.包括了整型、浮点型和布尔型,还加入了复数(int、float、bool、complex);      2.若是想知道它具体是什