• Python面试真题 – Django重定向你是如何实现的?用的什么状态码?

    【Python面试真题】- Django重定向你是如何实现的?用的什么状态码? 使用HttpResponseRedirect redirect和reverse 状态码:302,301

    Python开发, Python面试题 2019年2月25日
  • Python面试真题 – 分布式爬虫主要解决什么问题 ?

    【Python面试真题】- 分布式爬虫主要解决什么问题 ? 1)ip 2)带宽 3)cpu 4)io

    Python开发, Python面试题 2019年2月22日
  • 【Python面试真题】- scrapy和scrapy-redis有什么区别?为什么选择redis数据库?

    【Python面试真题】- scrapy和scrapy-redis有什么区别?为什么选择redis数据库? 1) scrapy是一个Python爬虫框架,爬取效率极高,具有高度定制性,但是不支持分布式。而scrapy-redis一套基于redis数据库、运行在scrapy框架之上的组件,可以让scrapy支持分布式策略,Slaver端共享Master端redis数据库里的item队列、请求队列和请求指纹集合。 2) 为什么选择redis数据库,因为redis支持主从同步,而且数据都是缓存在内存中…

    Python开发, Python面试题 2019年2月21日
  • Python面试真题 – 常见的反爬虫和应对方法?

    【Python面试真题】- 常见的反爬虫和应对方法? 1).通过Headers反爬虫 从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测,还有一部分网站会对Referer进行检测(一些资源网站的防盗链就是检测Referer)。如果遇到了这类反爬虫机制,可以直接在爬虫中添加Headers,将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫,在爬虫中修改或者…

    Python开发, Python面试题 2019年2月20日
  • 【Python面试真题】- 描述下scrapy框架运行的机制?

    【Python面试真题】- 描述下scrapy框架运行的机制? 从start_urls里获取第一批url并发送请求,请求由引擎交给调度器入请求队列,获取完毕后,调度器将请求队列里的请求交给下载器去获取请求对应的响应资源,并将响应交给自己编写的解析方法做提取处理:1. 如果提取出需要的数据,则交给管道文件处理;2. 如果提取出url,则继续执行之前的步骤(发送url请求,并由引擎将请求交给调度器入队列…),直到请求队列里没有请求,程序结束。

    Python开发, Python面试题 2019年2月18日
  • Python面试真题- Django重定向你是如何实现的?用的什么状态码?

    【Python面试真题】- Django重定向你是如何实现的?用的什么状态码? 使用HttpResponseRedirect redirect和reverse 状态码:302,301

    Python开发, Python面试题 2019年2月16日
  • Python面试真题 – 迭代器和生成器的区别 ?

    【Python面试真题】- 迭代器和生成器的区别 ?   1)迭代器是一个更抽象的概念,任何对象,如果它的类有next方法和iter方法返回自己本身。对于string、list、dict、tuple等这类容器对象,使用for循环遍历是很方便的。在后台for语句对容器对象调用iter()函数,iter()是Python的内置函数。iter()会返回一个定义了next()方法的迭代器对象,它在容器中逐个访问容器内元素,next()也是Python的内置函数。在没有后续元素时,next()会抛出一个S…

    Python开发, Python面试题 2019年2月14日
  • Python面试真题 – 写爬虫是用多进程好?还是多线程好? 为什么?

    【Python面试真题】- 写爬虫是用多进程好?还是多线程好? 为什么?   IO密集型代码(文件处理、网络爬虫等),多线程能够有效提升效率(单线程下有IO操作会进行IO等待,造成不必要的时间浪费,而开启多线程能在线程A等待时,自动切换到线程B,可以不浪费CPU的资源,从而能提升程序执行效率)。在实际的数据采集过程中,既考虑网速和响应的问题,也需要考虑自身机器的硬件情况,来设置多进程或多线程

    Python开发, Python面试题 2019年1月25日
  • Python面试真题- scrapy和scrapy-redis有什么区别?为什么选择redis数据库?

    【Python面试真题】- scrapy和scrapy-redis有什么区别?为什么选择redis数据库?   1)scrapy是一个Python爬虫框架,爬取效率极高,具有高度定制性,但是不支持分布式。而scrapy-redis一套基于redis数据库、运行在scrapy框架之上的组件,可以让scrapy支持分布式策略,Slaver端共享Master端redis数据库里的item队列、请求队列和请求指纹集合。   2)为什么选择redis数据库,因为redis支持主从同步,而且数据都是缓存在内…

    Python开发, Python面试题 2019年1月22日
  • Python面试真题 – Tornado 的核是什么 ?

    【Python面试真题】- Tornado 的核是什么 ? Tornado 的核心是 ioloop 和 iostream 这两个模块,前者提供了一个高效的 I/O 事件循环,后者则封装了 一个无阻塞的 socket 。通过向 ioloop 中添加网络 I/O 事件,利用无阻塞的 socket ,再搭配相应的回调 函数,便可达到梦寐以求的高效异步执行。

    Python开发, Python面试题 2019年1月18日
历经多年发展,已成为国内好评如潮的Linux云计算运维、SRE、Devops、容器云、Go、Python开发专业人才培训机构!