• 【Python面试真题】- scrapy和scrapy-redis有什么区别?为什么选择redis数据库?

    【Python面试真题】- scrapy和scrapy-redis有什么区别?为什么选择redis数据库? 1) scrapy是一个Python爬虫框架,爬取效率极高,具有高度定制性,但是不支持分布式。而scrapy-redis一套基于redis数据库、运行在scrapy框架之上的组件,可以让scrapy支持分布式策略,Slaver端共享Master端redis数据库里的item队列、请求队列和请求指纹集合。 2) 为什么选择redis数据库,因为redis支持主从同步,而且数据都是缓存在内存中…

    Python开发, Python面试题 2019年2月21日
  • Python面试真题 – 常见的反爬虫和应对方法?

    【Python面试真题】- 常见的反爬虫和应对方法? 1).通过Headers反爬虫 从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测,还有一部分网站会对Referer进行检测(一些资源网站的防盗链就是检测Referer)。如果遇到了这类反爬虫机制,可以直接在爬虫中添加Headers,将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫,在爬虫中修改或者…

    Python开发, Python面试题 2019年2月20日
  • 【Python面试真题】- Post和get有什么区别呢?

    【Python面试真题】- Post和get有什么区别呢? GET请求,请求的数据会附加在URL之后,以?分割URL和传输数据,多个参数用&连接。URL的编码格式采用的是ASCII编码,而不是uniclde,即是说所有的非ASCII字符都要编码之后再传输。 POST请求:POST请求会把请求的数据放置在HTTP请求包的包体中。上面的item=bandsaw就是实际的传输数据。 因此,GET请求的数据会暴露在地址栏中,而POST请求则不会。

    Python开发 2019年2月19日
  • python培训完可以做什么

    2019年python目前还保持火热程度,也有很多同学进行培训python进入这一行业,可是很多还是担心过多都进入python这一行业,就业上或者未来的出来在哪里,那么python培训完可以做什么呢?

    Python开发, 技术干货 2019年2月18日
  • 【Python面试真题】- 描述下scrapy框架运行的机制?

    【Python面试真题】- 描述下scrapy框架运行的机制? 从start_urls里获取第一批url并发送请求,请求由引擎交给调度器入请求队列,获取完毕后,调度器将请求队列里的请求交给下载器去获取请求对应的响应资源,并将响应交给自己编写的解析方法做提取处理:1. 如果提取出需要的数据,则交给管道文件处理;2. 如果提取出url,则继续执行之前的步骤(发送url请求,并由引擎将请求交给调度器入队列…),直到请求队列里没有请求,程序结束。

    Python开发, Python面试题 2019年2月18日
  • Python面试真题- Django重定向你是如何实现的?用的什么状态码?

    【Python面试真题】- Django重定向你是如何实现的?用的什么状态码? 使用HttpResponseRedirect redirect和reverse 状态码:302,301

    Python开发, Python面试题 2019年2月16日
  • Python面试真题- 在多线程环境中,Python 虚拟机按什么方式执行 ?

    【Python面试真题】- 在多线程环境中,Python 虚拟机按什么方式执行 ? 1. 设置GIL2. 切换到一个线程去运行3. 运行:    a. 指定数量的字节码指令,或者 b. 线程主动让出控制(可以调用time.sleep(0))4. 把线程设置为睡眠状态5. 解锁GIL6. 再次重复以上所有步骤  在调用外部代码(如C/C++扩展函数)的时候,GIL 将会被锁定,直到这个函数结束为止(由于在这期间没有Python 的字节码被运行,所以不会做线程…

    Python开发 2019年2月15日
  • Python面试真题 – 迭代器和生成器的区别 ?

    【Python面试真题】- 迭代器和生成器的区别 ?   1)迭代器是一个更抽象的概念,任何对象,如果它的类有next方法和iter方法返回自己本身。对于string、list、dict、tuple等这类容器对象,使用for循环遍历是很方便的。在后台for语句对容器对象调用iter()函数,iter()是Python的内置函数。iter()会返回一个定义了next()方法的迭代器对象,它在容器中逐个访问容器内元素,next()也是Python的内置函数。在没有后续元素时,next()会抛出一个S…

    Python开发, Python面试题 2019年2月14日
  • Python面试真题 – 写爬虫是用多进程好?还是多线程好? 为什么?

    【Python面试真题】- 写爬虫是用多进程好?还是多线程好? 为什么?   IO密集型代码(文件处理、网络爬虫等),多线程能够有效提升效率(单线程下有IO操作会进行IO等待,造成不必要的时间浪费,而开启多线程能在线程A等待时,自动切换到线程B,可以不浪费CPU的资源,从而能提升程序执行效率)。在实际的数据采集过程中,既考虑网速和响应的问题,也需要考虑自身机器的硬件情况,来设置多进程或多线程

    Python开发, Python面试题 2019年1月25日
  • Python面试真题 – 你常用的mysql引擎有哪些?各引擎间有什么区别?

    【Python面试真题】- 你常用的mysql引擎有哪些?各引擎间有什么区别?   主要 MyISAM 与 InnoDB 两个引擎,其主要区别如下:   一、InnoDB 支持事务,MyISAM 不支持,这一点是非常之重要。事务是一种高   级的处理方式,如在一些列增删改中只要哪个出错还可以回滚还原,而 MyISAM   就不可以了;   二、MyISAM 适合查询以及插入为主的应用,InnoDB 适合频繁修改以及涉及到   安全性较高的应用;   三、InnoDB 支持外键,MyISAM 不支…

    Python开发 2019年1月23日
历经多年发展,已成为国内好评如潮的Linux云计算运维、SRE、Devops、网络安全、容器云、Go、Python开发专业人才培训机构!