Python爬虫学习纪要(十):Requests 库学习笔记5_python bound method response.json of <response [40-程序员宅基地

技术标签: 爬虫  Request库  

一、reqeusts.get:
def get(url, params=None, **kwargs)
其中**kwargs:十二个控制访问参数,均为可选项
1)params:字典或者字节序列,作为参数增加到url中
2)data:字典、字节序列或者文件对象,作为Request的内容json:JSON格式的数据,作为Request的内容
3)headers:字典,HTTP定制头
4)cookies:字典或Cookiejar, Request中的cookie
5)auth:元组,支持HTTP认证功能
6)files:字典类型,传输文件
7)timeout:设定超时时间,单位秒
8)proxies:字典类型,设定访问代理服务器,可以增加登录认证
9)allow_redirects:Ture/False,默认为True,重定向开关
10)stream:True/False,默认为True,获取内容立即下载开关
11)verify:True/False,默认为True,认证SSL证书开关
12)cert:本地SSL证书路径
13)url:拟更新页面的url链接
14)data:字典、字节序列或文件,Request的内容
15)json:JSON格式的数据,Request的内容

二、传输RUL参数
例·1:
import requests

test = {'key1':'value1', 'key2':'value2'}
r = requests.get('http://www.baidu.com', params=test)
print(r.url)

输出:
http://www.baidu.com/?key1=value1&key2=value2

例·2:
import requests

test = {'key1':'value1', 'key2':['value2', 'value3']}
r = requests.get('http://www.baidu.com', params=test)
print(r.url)

输出:
http://www.baidu.com/?key1=value1&key2=value2&key2=value3

三、响应内容
响应内容(r.text)、二进制响应内容(r.content)、JSON响应内容(r.json)区别:
import requests

r = requests.get('https://github.com/timeline.json')
print(r.text)
print('==========')
print(r.content)
print('==========')
print(r.json)

输出:
{"message":"Hello there, wayfaring stranger. If you’re reading this then you probably didn’t see our blog post a couple of years back announcing that this API would go away: http://git.io/17AROg Fear not, you should be able to get what you need from the shiny new Events API instead.","documentation_url":"https://developer.github.com/v3/activity/events/#list-public-events"}
==========
b'{"message":"Hello there, wayfaring stranger. If you\xe2\x80\x99re reading this then you probably didn\xe2\x80\x99t see our blog post a couple of years back announcing that this API would go away: http://git.io/17AROg Fear not, you should be able to get what you need from the shiny new Events API instead.","documentation_url":"https://developer.github.com/v3/activity/events/#list-public-events"}'
==========
<bound method Response.json of <Response [410]>>
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/zhaocen_1230/article/details/78658600

智能推荐

金山WPS:我们当年上了微软的当,现在终于扳回一局了_office最早进入国内-程序员宅基地

文章浏览阅读435次。估摸算来,微软Office进入中国,也有差不多30年了吧。这是金山WPS,风雨兼程,苦尽甘来的30年。1993年,微软公司的Word火急火燎进入中国。那个时候,求伯君开发的文字处理软件WPS,可谓盛极一时。求伯君仅1994年,一年之间,WPS就卖出3万多套,创造了6600多万元的销售神话。作为外来户,微软非常清楚,要想打开中国市场,第一步必然是与本土办公软件WPS竞争,或者展开合作,想办法抢到金山WPS的用户。于是乎,微软行动了起来,绞尽脑汁地寻找与金山公司的接触机会。起初,微软找到金山公司最早的投资人张旋_office最早进入国内

AIX 连接IBM存储,多路径软件常用命令_pcmpath query device-程序员宅基地

文章浏览阅读6.8k次。一:查看存储盘的路径1、 查看MPIO的存储盘的路径# lspath (适用于所有存储的MPIO路径查询)# mpio_get_config -Av (适用于DS3K/DS4K的MPIO路径查询)2、 查看RDAC存储盘的路径# fget_config -Av (适用于DS3K/DS4K的RDAC路径查询) 3、 查看SDDPCM存储盘的路径# pcmpat_pcmpath query device

Ambassador系列-04-服务配置Mapping_ambassador 扫描 mapping-程序员宅基地

文章浏览阅读1.5k次。Ambassador设计旨在让Kubernetes服务的开发者可以轻松灵活地配置流量如何路由到该服务,其核心是Mapping资源,支持7层的HTTP,GRPC和Websocket,也可以通过TCPMapping支持4层的TCP连接。Ambassador必须定义一个或多个Mapping才能访问上游服务。Mapping通过不同的配置选项实现不同的路由规则,下面进行说明。增加Request Head..._ambassador 扫描 mapping

2021-05-17 C#.NET面试题 如果你的系统功能中出现性能问题,说说你的排查计划。_如果你的系统某个功能出现性能问题,说明你的排查计划-程序员宅基地

文章浏览阅读7.1w次。如果你的系统功能中出现性能问题,说说你的排查计划。通过浏览器访问,定位到性能最差(耗时最长)的请求,然后定位是代码层面的性能损失,还是数据库层面的性能损失,然后根据不同环节出现的性能问题再加以解决。..._如果你的系统某个功能出现性能问题,说明你的排查计划

CRUD同事狂刷阿里面试指南(泰山版),最终直接斩获十七个offer-程序员宅基地

文章浏览阅读114次。本文主要记录了我的同事能够拿到阿里的offer,一大部分功劳得益于这一本“阿里面试参考指南(泰山版)”,这本手册他整整狂刷了29天,收获颇丰。下面咱们就跟着文章一起来看看吧!内容大纲阿里巴巴高并发秒杀架构 分布式 中间件 数据库 设计模式与实践 数据结构与算法 阿里巴巴面试真实场景还原阿里巴巴高并发秒杀架构XA两阶段提交(2PC)分布式CAP三进二和Base定理中间件JMS消息服务搜索引擎..._刷阿里

华为交换机划分vlan_华为交换机vlan划分-程序员宅基地

文章浏览阅读1.4w次,点赞23次,收藏107次。端口划分给vlan1:先进入系统视图(system)2:为交换机命名(sysname加交换机名字)3:创建vlan(VLAN batch空格加要创建的vlan,如单创一个vlan2就vlan batch 2,如果要创建1到10个VLAN就vlan batch 1 to 10)4:输入 int GigabitEthernet空格加要进入的端口号(如0/0/1)5:进入端口后,输入port ..._华为交换机vlan划分

随便推点

未能从程序集“xxx, Version=1.0.0.0, Culture=neutral, PublicKeyToken=null”中加载类型“yyy”。_message":"未能从程序集“jian, version=1.0.0.0, culture=ne-程序员宅基地

文章浏览阅读1.3w次。从字面意思上看,就是在程序集xxx中,没有找到yyy类。为了确认这一点,建议打开bin文件夹,用ILSpy看一下你的dll文件。。切记切记,不要觉得代码中明明就有这个类,dll就没问题。不要看代码,直接看dll,先确定一下,dll中到底有没有??……如果dll中有,那么没的说,我也不知道原因。如果dll中没有,那么很明显的,你有yyy类的程序集被覆盖了。这种覆盖的原因有很多,百度上..._message":"未能从程序集“jian, version=1.0.0.0, culture=neutral, publickeyto

额第一次写不太会用,就先记录一下自己在使用R语言的过程中遇到的问题以及解决办法吧_error in mr.raps::mr.raps(data, diagnostics = fals-程序员宅基地

文章浏览阅读4.4k次。这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar_error in mr.raps::mr.raps(data, diagnostics = false, over.dispersion = param

如何使用 Kafka、MongoDB 和 Maxwell’s Daemon 构建 SQL 数据库的审计系统-程序员宅基地

文章浏览阅读610次。点击上方“朱小厮的博客”,选择“设为星标”后台回复"书",获取后台回复“k8s”,可领取k8s资料本文要点 审计日志系统有很多应用场景,而不仅仅是存储用于审计..._maxwell's daemon

STM32驱动0.96寸OLED液晶屏_oled 0.96显示10进制带符号-程序员宅基地

文章浏览阅读3.5k次,点赞2次,收藏37次。一、OLED简述1.OLED模块简介2.SSD1306控制芯片驱动3.如何显示字符4.字幕显示原理二、自己的学号和姓名三、 显示AHT20的温度和湿度四、 上下或左右的滑动显示长字符一、OLED简述1.OLED模块简介OLED,即有机发光二极管(Organic Light-Emitting Diode),又称为有机电激光显示(Organic Electroluminesence Display, OELD)。OLED由于同时具备自发光,不需背光源、对比度高、厚度薄、视角广、反应速度快、可用于挠曲性面._oled 0.96显示10进制带符号

【lua/aviutl】游戏对话框效果_aviutl有没有自动给文字加文本框效果-程序员宅基地

文章浏览阅读605次。其实就是从下端出现再消失而已做视频的话反复K帧很麻烦又没必要cutTime是出现的时间cutTime=0.1start=600if (obj.time<cutTime)thenobj.oy=(start-obj.y)*(1-obj.time/cutTime)elseif(obj.time>obj.totaltime-cutTime)thenobj.oy=(start..._aviutl有没有自动给文字加文本框效果

com.alibaba.fastjson.JSONException: not close json text, token : :-程序员宅基地

文章浏览阅读3.7k次。flink从kafka读数据报错:com.alibaba.fastjson.JSONException: not close json text, token : :解决方案:kafka中的json数据不要带有空格或者回车。_com.alibaba.fastjson.jsonexception: not close json text, token : ,