Python中requests库的概念及使用详解

 更新时间:2023年05月18日 10:11:52   作者:A-L-Kun  
这篇文章主要介绍了Python中requests库的概念及使用详解,urllib库使用繁琐,比如处理网页验证和Cookies时,需要编写Opener和Handler来处理。为了更加方便的实现这些操作,就有了更为强大的requests库,需要的朋友可以参考下

一、 基本概念

1、 简介

requests 模块是 python 基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的,所以它比 urllib 更加 Pythoner

2、 获取

通过 pip install requests 安装 requests 库

导包:

import requests

3、 http 协议

http ,超文本传输协议,是互联网上应用最为广泛的一种网络协议。所有的WWW文件都必须遵守这个标准。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法,HTTP是一种基于"请求与响应"模式的、无状态的应用层协议。HTTP协议采用URL作为定位网络资源的的标识符

3.1 URL

统一资源定位符是互联网上标准资源地址。互联网上的每一个文件都有一个唯一的 URL,它包含的信息指出文件的位置以及浏览器应该怎么处理它

URL 的一般语法格式为:

protocol://host[:port]/path/[?query]#fragment
http://www.itcast.cn/index.html?name=andy&age=18#link
组成说明
protocol通信协议,常用:http、https 等
host主机(域名)
port端口号,可选,省略时候使用方案的默认端口,如:http的默认端口为80
path路径,由零或多个 ‘/’ 符号隔开的字符串,一般用来表示主机上的一个目录或文件地址
query参数,以键值对的形式通过 & 来连接
fragment片段,# 后面内容常见于链接 锚点

url是通过HTTP协议存取资源的的Internet路径,一个URL对应一个数据资源

3.2 常用 http 请求方法

方法说明
GET请求获取URL位置的资源
HEAD请求获取URL位置资源的响应消息报告,即获得资源的头部信息
POST请求向URL位置的资源后附加新的消息
PUT请求向URL位置存储一个资源,覆盖原URL位置的资源
PATCH请求局部更新URL位置的资源,即改变该处资源的部分内容
DELETE请求删除URL位置存储的资源

GET,HEAD是从服务器获取信息到本地,PUT,POST,PATCH,DELETE是从本地向服务器提交信息。通过URL和命令管理资源,操作独立无状态,网络通道及服务器成了黑盒子

二、 使用方法

1、 基本语法

方法说明
requsts.requst()构造一个请求,最基本的方法,是下面方法的支撑
requsts.get()获取网页,对应HTTP中的GET方法
requsts.post()向网页提交信息,对应HTTP中的POST方法
requsts.head()获取html网页的头信息,对应HTTP中的HEAD方法
requsts.put()向html提交put方法,对应HTTP中的PUT方法
requsts.patch()向html网页提交局部请求修改的的请求,对应HTTP中的PATCH方法
requsts.delete()向html提交删除请求,对应HTTP中的DELETE方法

主要使用 get 和 post 方法

2、 具体使用方法

2.1 get

  • 基本语法
resp = requests.get(url="//www.baidu.com")
print(resp) 

resp 是一个Response对象,一个包含服务器资源的对象

  • 常用参数
参数类型作用
params字典url为基准的url地址,不包含查询参数;该方法会自动对params字典编码,然后和url拼接
url字符串requests 发起请求的地址
headers字典请求头,发送请求的过程中请求的附加内容携带着一些必要的参数
cookies字典携带登录状态
proxies字典用来设置代理 ip 服务器
timeout整型用于设定超时时间, 单位为秒

2.2 post

  • 基本语法
word = input("please input a word")
url = "https://fanyi.baidu.com/sug"
data = {  
    "kw": word,
}
headers = {
    'User-Agent': "Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 96.0.4664 .93 Safari / 537.36",
}
resp = requests.get(url=url, data=data, headers=headers)
print(resp.json())
  • 常用参数
参数类型作用
data字典作为向服务器提供或提交资源时提交,主要用于 post 请求
json字典json格式的数据, json合适在相关的html

注意:

  • data 和 params 的区别是: data提交的数据并不放在url链接里, 而是放在url链接对应位置的地方作为数据来存储
  • data 和 json 的作用类似,适用方法相同
  • get 里面的参数大部分也适用

2.3 response

属性说明
resp.status_codehttp请求的返回状态,若为200则表示请求成功。
resp.raise_for_status()该语句在方法内部判断resp.status_code是否等于200,如果不等于,则抛出异常
resp.texthttp响应内容的字符串形式,即返回的页面内容
resp.encoding从http header 中猜测的相应内容编码方式
resp.apparent_encoding从内容中分析出的响应内容编码方式(备选编码方式)
resp.contenthttp响应内容的二进制形式
resp.json()得到对应的 json 格式的数据,类似于字典

2.4 head

  • 基本语法注意:
data 和 params 的区别是: data提交的数据并不放在url链接里, 而是放在url链接对应位置的地方作为数据来存储data 和 json 的作用类似,适用方法相同get 里面的参数大部分也适用
url = "http://www.baidu.com"
headers = {
    'User-Agent': "Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 96.0.4664 .93 Safari / 537.36",
}
resp = requests.head(url=url)
print(resp.headers)  

resp.headers 方法反馈头部内容,很少网络流量获得概要信息

2.5 put

python接口自动化

  • put请求的作用:更新资源

其语法和 post 请求的语法类似

put 和 post 区别:

  • 新建一条记录的话就用post
  • POST 方法被用于请求源服务器接受请求中的实体作为请求资源的一个新的从属物
  • 更新一条记录的话就用put
  • PUT方法请求服务器去把请求里的实体存储在请求URI标识下

到此这篇关于Python中requests库的概念及使用详解的文章就介绍到这了,更多相关Python中requests库内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 基于pytorch实现对图片进行数据增强

    基于pytorch实现对图片进行数据增强

    图像数据增强是一种在训练机器学习和深度学习模型时常用的策略,尤其是在计算机视觉领域,具体而言,它通过创建和原始图像稍有不同的新图像来扩大训练集,本文给大家介绍了如何基于pytorch实现对图片进行数据增强,需要的朋友可以参考下
    2024-01-01
  • 详解python之多进程和进程池(Processing库)

    详解python之多进程和进程池(Processing库)

    本篇文章主要介绍了详解python之多进程和进程池(Processing库),非常具有实用价值,需要的朋友可以参考下
    2017-06-06
  • Python基于textdistance实现计算文本相似度

    Python基于textdistance实现计算文本相似度

    textdistance是Python的第三方库,用于计算文本之间的相似度或距离,本文主要为大家详细介绍了如何使用textdistance实现计算文本相似度,需要的可以了解下
    2024-03-03
  • Python实现的用户登录系统功能示例

    Python实现的用户登录系统功能示例

    这篇文章主要介绍了Python实现的用户登录系统功能,涉及Python流程控制及字符串判断等相关操作技巧,需要的朋友可以参考下
    2018-02-02
  • 一文介绍Python中的正则表达式用法

    一文介绍Python中的正则表达式用法

    正则表达式是一种强大的文本匹配和处理工具,广泛应用于各种编程语言中,在Python中,我们可以使用内置的re模块来处理正则表达式,本文将带您从入门到精通,逐步介绍Python中的正则表达式用法,并提供实例演示
    2023-07-07
  • python 利用百度API进行淘宝评论关键词提取

    python 利用百度API进行淘宝评论关键词提取

    这篇文章主要介绍了python 利用百度API进行淘宝评论关键词提取,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下
    2021-03-03
  • 从头学Python之编写可执行的.py文件

    从头学Python之编写可执行的.py文件

    这篇文章主要介绍了从头学Python之编写可执行的.py文件,具有一定参考价值,需要的朋友可以了解下。
    2017-11-11
  • Python实现基于Fasttext的商品评论数据分类的操作流程

    Python实现基于Fasttext的商品评论数据分类的操作流程

    这篇文章主要介绍了Python实现基于Fasttext的商品评论数据分类,今天使用的fasttext更像是一个集成的库,把向量化和分类一起做掉了,这个对于使用层面来讲就更方便了一些,需要的朋友可以参考下
    2022-06-06
  • 基于Python编写一个简单的摇号系统

    基于Python编写一个简单的摇号系统

    在现代社会中,摇号系统广泛应用于车牌摇号、房屋摇号等公共资源分配领域,本文将详细介绍如何使用Python实现一个简单的摇号系统,有需要的可以了解下
    2024-11-11
  • opencv-python+yolov3实现目标检测

    opencv-python+yolov3实现目标检测

    因为最近的任务有用到目标检测,快速地了解了目标检测这一任务,并且实现了使用opencv进行目标检测。感兴趣的可以了解一下
    2021-06-06

最新评论