目录
简介
技术路线
编写思路
数据格式
功能截图
配置说明
补充
@
简介
提到爬虫,大部分人都会想到使用Scrapy工具,但是仅仅停留在会使用的
计数排序与桶排序python实现
计数排序
计数排序原理:
找到给定序列的最小值与最大值
创建一个长度为最大值-最小值+1的数组,初始化都为0
然后遍历原序列,并为数组中索引为当
Python概述
计算机组成
计算机(computer)俗称电脑,是一种用于高速计算的电子计算机器,可以进行数值计算,又可以进行逻辑计算,还具有存储记忆功能。
计算机组成分为:计算机硬件组成以及计算机软件组成。
1.计算机硬件组成
运算器:负责数据运算,即数据的加工处理
控制器:整个计算机的中枢神经
爬虫背景
爬虫最核心的问题就是解决重复操作,当一件事情可以重复的进行的时候,就可以用爬虫来解决这个问题,今天要实现的一个基本需求是完成“博客园“ 博客的自动评论,其实原理是非常简单的,提炼一下需求
基本需求
登录博客园<不实现,登录单独编写博客>
调用评论接口
返回请求结果
确定流程之后
为什么要用分布式爬虫
学习爬虫已经有一段时间了,之前的爬虫都是一个python文件就实现的,没考虑性能,效率之类的。所以作为一个合格的spider,需要学习一下分布式爬虫。
什么分布式爬虫?简单地说就是用多台服务器去获取数据,让这些服务器去协同,分配各自的任务。
分布式爬虫设计
最常用的一种就是主从
本文是个人python学习笔记,学习资料为廖雪峰python教程,如需更多内容,请移步廖老师官方网站。
一 函数式编程Functional Programming
函数式编程允许把函数本身作为参数传入另一个函数,还允许返回一个函数。Python对函数式编程提供部分支持。由于Pyt
一、写在前面:
我们都知道Python一种面向对象的脚本语言,对象是Python中非常重要的一个概念。在Python中数字是对象,字符串是对象,任何事物都是对象,而它们的核心就是一个结构体--PyObject。
typedef struct_object{
前言
说实话,查看电脑的IP,也挺无聊的,但是够简单,所以就从这里开始吧。IP地址在操作系统里就可以直接查看。但是除了IP地址,我们也想通过IP获取地理地址和网络运营商情况。IP地址和地理地址并没有固定的关系,所以我们需要借助网络上的数据库,或者说借助第三方的服务来查询。这里,我们选用IP
归并排序python实现
归并排序
归并排序在于把序列拆分再合并起来,使用分治法来实现,这就意味这要构造递归算法
首先是一个例子
原序先通过一半一半的拆分,然后:
然后再一步一步的向上合并,在合并的过程中完成了排序
一、字符编码
什么是字符编码?
答:我们能够了解到,我们人类能够理解的是字符的高等标识符,计算机智能识别类似于0和1组成的标识符,那么我们人类和计算机沟通,一定需要某种媒介来支持,来进行两种标识符的相互转换。例如:
1 10 -> 00010000&
新建一个 current_time.html 文件, !cur_time! 用来替换
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>
控制浏览器操作
控制浏览器窗口大小
在测试过程中,我们在打开浏览器后,根据需求可自定义调整浏览器的尺寸大小。WebDriver提供了set_window_size()方法来设置浏览器的大小。
如果页面没有最大化,可以调用driver.maximize_window()将
在Python中,可以用import导入需要的模块、包、库、文件等。
把工作路径导入系统路径
import os#os是工作台
import sys#sys是系统
sys.path.append(os.getcwd())
sys.pa
环境要求
Python3
numpy函数库
opencv库
安装
下载适应版本的numpy函数库,我电脑是WIN10 64位,安装的函数库是
numpy-1.13.1+mkl-cp36-cp36m-win_amd64.whl
下载
一、字符编码
1、什么实字符编码:将人识别的字符转换成计算机能识别的01,而转换的过程或者规则就是字符编码表。
而这种字符编码表表示了一种对应关系。
2、常用的字符编码表有:ascii、unicode、GBK、Shift_JIS、Euc-kr
3、如何理解字符
Django项目从零开始脉络
创建虚拟环境,隔离项目python环境:mkvirtualenv -p /usr/bin/python3.6 envname
安装Django:pip install django
要在创建的虚拟环境下安装,workon envname
创建Django项目:djan
一、元组类型(tuple)
1、用途:记录多个值,当多个值没有改变的需求此时元组更为合适
2、定义:在()内用逗号分隔开多个任意类型的值(参数为for可以循环的对象)
3、常用操作:
索引(正取向+反取向)且只能取值不能改变
t=('eg
创建一个 Django 项目及应用
django-admin startproject mysite
cd mysite
# 手动创建一个 templates 文件夹用来保存 html 文件
mkdir templates
python manage.py startapp blog
修改 u
快速排序python实现
快速排序
快速排序的实现同样使用分治法,它的原理是从序列中选择一个值作为基准值,然后分成比基准值小的序列集合和比基准值小的序列集合和与基准值相等的序列集合。
再将比基准值小的序列集合和比基准值小的序列集合再次进行选择基准值分割,最后
SQLAlchemy 是一种 ORM 框架,通过使用它,可以大大简化我们对数据库的操作,不用再写各种复杂的 sql语句 了。
说明
操作系统:Windows 10
Python 版本:3.7x
虚拟环境管理器:virtualenv
代码编辑器:VS Code
实验目标
实现网站与 mysql