• 详解python 破解网站反爬虫的两种简单方法

    最近在学爬虫时发现许多网站都有自己的反爬虫机制,这让我们没法直接对想要的数据进行爬取,于是了解这种反爬虫机制就会帮助我们找到解决方法。 常见的反爬虫机制有判别身份和IP限制两种,下面我们将一一来进行介绍。 (一) 判别身份 首先我们看一个例子,看看到底什么时候反爬虫。我们还是以 豆瓣电影榜top250(https://movie.douban.com/top250) 为例。 这是段简单的请求与网站连接并打印获取数据的代码,我们来看看它的运行结果。 我们可以发现我们什么数据都没有获取到,这就是由于…

    Python开发 2021年7月27日
  • 零基础python教程-元组的学习

    在Python中包含了四种数据结构,分别是元组、列表、集合、字典。本文章先学习下Python的元组该如何使用。参考了相关的资料,元组经过初始化后就不能再修改了。和列表声明相类似,只不过元组使用了小括号将元素组装起来。 元组的声明 使用小括号构建元素。注意:元组可以将不同的数据类型整合到一起,比如下面的第三条数据中就是将字符、数字、布尔类型的数据放到一起。 元组的访问 可以使用下标对元组进行访问,注意下标可以访问多个元素,也可访问一个元素。还要注意下标不要越界。 元组的操作 元组一旦声明好后,就不…

    Python开发 2020年8月21日
  • Python编程如何用文件保存游戏(2)

    今天马哥教育要跟大家分享的文章是Python编程如何用文件保存游戏(2)?我们上节课学习了用文件保存游戏(1),我们已经可以从文件中读取游戏成绩的数据了,这节课我们该考虑,如何把我们每次游戏的结果保存进去。Python入门新手和正在Python学习的小伙伴快来看一看吧,希望能够对大家有所帮助 ! 这样有来有往,才能玩的开心呀!所以,接下来我们就来学习吧: 首先,我们需要有一个变量来记录每次游戏所用的轮数: times = 0 然后在游戏每进行一轮的时候,累加这个变量: times += 1 当游…

    Python开发 2019年12月11日
  • 一个Python小白如何快速完成爬虫?

    今天马哥教育要跟大家分享的文章是一个Python小白如何快速完成爬虫?很人或多或少都听说过Python爬虫,但不知道如何通过Python爬虫来爬取自己想要的内容,Python入门新手和正在Python学习的小伙伴快来看一看吧,希望能够对大家有所帮助 ! 环境搭建 既然用Python,那么自然少不了语言环境。于是乎到官网下载了3.5版本的。安装完之后,随机选择了一个编辑器叫PyCharm,话说Python编辑器还真挺多的。 建好项目,打开编辑器,直接开工。搜一个HTML解析工具,人家都做的那种,这…

    Python开发 2019年12月5日
  • 【Git第六节】文件状态

    欢迎大家来到Python自学教程教室,上节课我们了解了Git的工作流,这节课我们将带大家学习文件状态的相关内容,你准备好了吗? 在第4课的最后,我们用以下两条命令: git add readme.txt git commit -m ‘my first commit’ 向我们新建的git仓库中添加了对readme.txt文件的版本控制。现在,我们要试图对仓库中的文件进行一些改动,同时观察它们的状态变化,以此实践上节课中说的git工作流。 首先,在命令行的本地仓库工作目录下执行命令: git sta…

    Python开发 2019年11月29日
  • 自学Python教程【第七十二节】多线程

    欢迎大家来到自学Python教程教室,上一讲我们学习Python的Python 中一个比较有意思的内置函数 reduce,这节课我们来了解Python中多线程的相关内容,来看看吧: 很多人使用 Python 编写“爬虫”程序,抓取网上的数据。 举个例子,通过豆瓣的 API 抓取 30 部影片的信息: import urllib, time time_start = time.time() data = [] for i in range(30): print ‘request movie:’, …

    Python开发 2019年11月25日
  • 自学Python编程【第三十八节】用文件保存游戏(2)

    同学们!我们上节课学习了用文件保存游戏(1),我们已经可以从文件中读取游戏成绩的数据了,这节课我们该考虑,如何把我们每次游戏的结果保存进去,这样有来有往,才能玩的开心呀!所以,接下来我们就来学习吧: 首先,我们需要有一个变量来记录每次游戏所用的轮数: times = 0 然后在游戏每进行一轮的时候,累加这个变量: times += 1 当游戏结束后,我们要把这个变量的值,也就是本次游戏的数据,添加到我们的记录中。 如果是第一次玩,或者本次的轮数比最小轮数还少,就记录本次成绩为最小轮数: if g…

    Python开发 2019年10月28日
  • Python面试真题-Python是如何进行类型转换的?

    【Python面试真题】-Python是如何进行类型转换的? 1 函数 描述 2 int(x [,base ]) 将x转换为一个整数 3 long(x [,base ]) 将x转换为一个长整数 4 float(x ) 将x转换到一个浮点数 5 complex(real [,imag ]) 创建一个复数 6 str(x ) 将对象 x 转换为字符串 7 repr(x ) 将对象 x 转换为表达式字符串 8 eval(str ) 用来计算在字符串中的有效Python表达式,并返回一个对象 9 tup…

    Python开发 2018年11月27日
  • Python培训入门 | python定期爬取GitHub上每日流行项目

    介绍一个在GitHub上看到的通用的Python爬虫,难度不大,是一个蛮好玩的点,顺便总结一下Python爬虫的一些需要注意的点。先上链接:github源码 1. 项目简介 大家可以看一下这个网站 https://github.com/trending 随时关注最新的技术动向,永远是一个程序员应该做到的,但我们不能做到每天去查看,于是就诞生了这个repo(更正为原作者写了这个repo),我们将爬虫挂在Linux服务器上,定期爬取并且推送到自己的repo上,只要有时间,就可以看到之前的所有热门项目…

    技术干货 2017年7月21日
  • 碉堡了!一小时爬取百万知乎用户信息的Python神器曝光

    本文转载自简书,由马哥教育Python运维班3期学员推荐,原文作者为志朋,经小编编辑而成,如有漏洞,欢迎指正,并最后致谢作者的辛苦付出。 知乎是一个真实的网络问答社区,社区氛围友好与理性,连接各行各业的精英。用户分享着彼此的专业知识、经验和见解,为中文互联网源源不断地提供高质量的信息。与此同时,知乎也是由Python开发而成,有许多的Python爱好者都愿意用知乎做一些爬虫实验。 下面我们来看看Pythoner志朋的爬虫实验。 一、使用的技术栈: 爬虫:Python27 +requests+js…

    Python开发 2017年7月11日
历经多年发展,已成为国内好评如潮的Linux云计算运维、SRE、Devops、网络安全、云原生、Go、Python开发专业人才培训机构!