Python培训入门 | python定期爬取GitHub上每日流行项目

介绍一个在GitHub上看到的通用的Python爬虫,难度不大,是一个蛮好玩的点,顺便总结一下Python爬虫的一些需要注意的点。
先上链接:github源码

1. 项目简介

大家可以看一下这个网站 https://github.com/trending

Python培训入门 | python定期爬取GitHub上每日流行项目

随时关注最新的技术动向,永远是一个程序员应该做到的,但我们不能做到每天去查看,于是就诞生了这个repo(更正为原作者写了这个repo),我们将爬虫挂在Linux服务器上,定期爬取并且推送到自己的repo上,只要有时间,就可以看到之前的所有热门项目。

Python培训入门 | python定期爬取GitHub上每日流行项目

顺便说一句这样是不是还可以刷一波GitHub commit

代码po在了最后面

2. 关于Python的私人总结

使用Python开发爬虫的时候需要注意哪些?

1.区分Python版本

Python 2.x 3.x 差别很大,如果遇到就编译通不过,及早意识到进行修正还好,若是语法差别不大却没有意识到,有时候会给自己惹来很大的麻烦

2.关注几种易于混淆的数据类型

  • Tuples
  • Lists
  • Dictionary
  • Json
    需要格外关注这几种类型之间的转换,我们知道Python是一种弱数据类型语言,但不代表着它的数据类型可以混用,反而,正因为弱化了声明,才让有些操作更加容易出错,这时候我们需要做的,就是仔细阅读文档,熟悉不同的用法。
    Python培训入门 | python定期爬取GitHub上每日流行项目
    Tuples
Python培训入门 | python定期爬取GitHub上每日流行项目
Lists
Python培训入门 | python定期爬取GitHub上每日流行项目
Dictionary

推荐文档:Tuples, Lists, and Dictionaries

3.注意合理使用第三方类库

Python相对于java等语言,最大的优势就在于其具有很大规模的封装良好的类库,可以让我们使用短短的几行代码,实现很多功能。这里列举几个常用的库和框架:

  • virtualenv 创建独立 Python 环境的工具。
  • Beautiful Soup 提供一些简单的、Python式的函数用来处理导航、搜索、修改分析树等功能 简单的说就是解析网页
  • Scrapy 强大的爬虫框架Scrapy
    限于篇幅,放几个链接大家自己进去看
    哪些 Python 库让你相见恨晚?
    Python 常用的标准库以及第三方库有哪些?

3. 代码

下面是注释版代码,Python2.7 用了requests PyQuery等几个类库
代码写的比较明确了,就没有过多注释

#!/usr/local/bin/Python2.7
# coding:utf-8

import datetime
import codecs
import requests
import os
import time
from pyquery import PyQuery as pq

#git操作 推送到远程repo
def git_add_commit_push(date, filename):
    cmd_git_add = 'git add .'
    cmd_git_commit = 'git commit -m "{date}"'.format(date=date)
    cmd_git_push = 'git push -u origin master'

    os.system(cmd_git_add)
    os.system(cmd_git_commit)
    os.system(cmd_git_push)


def createMarkdown(date, filename):
    with open(filename, 'w') as f:
        f.write("###" + date + "\n")


def scrape(language, filename):

    HEADERS = {
        'User-Agent'        : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.7; rv:11.0) Gecko/20100101 Firefox/11.0',
        'Accept'            : 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Accept-Encoding'    : 'gzip,deflate,sdch',
        'Accept-Language'    : 'zh-CN,zh;q=0.8'
    }

    url = 'https://github.com/trending/{language}'.format(language=language)
    r = requests.get(url, headers=HEADERS)
    assert r.status_code == 200
    # print(r.encoding)

    d = pq(r.content)
    items = d('ol.repo-list li')

    # codecs to solve the problem utf-8 codec like chinese
    with codecs.open(filename, "a", "utf-8") as f:
        f.write('\n####{language}\n'.format(language=language))

        for item in items:
            i = pq(item)
            title = i("h3 a").text()
            owner = i("span.prefix").text()
            description = i("p.col-9").text()
            url = i("h3 a").attr("href")
            url = "https://github.com" + url
            # ownerImg = i("p.repo-list-meta a img").attr("src")
            # print(ownerImg)
            f.write(u"* [{title}]({url}):{description}\n".format(title=title, url=url, description=description))
#定时爬取对应语言的并写入到markdown文本中
def job():
    strdate = datetime.datetime.now().strftime('%Y-%m-%d')
    filename = '{date}.md'.format(date=strdate)
    # create markdown file
    createMarkdown(strdate, filename)
    # write markdown
    scrape('Python', filename)
    scrape('swift', filename)
    scrape('javascript', filename)
    scrape('go', filename)
    scrape('Objective-C', filename)
    scrape('Java', filename)
    scrape('C++', filename)
    scrape('C#', filename)

    # git add commit push
    git_add_commit_push(strdate, filename)
#主函数
if __name__ == '__main__':
    while True:
        job()
        time.sleep(12 * 60 * 60)

4. 扩展及埋坑 下集预告

这里分享几个Python相关的重要链接,看了一定会有收获(尤其是前两者),而且很大,没效果你回来打我(匿

下面准备把oschina一个类似的东西一块爬一下,push到repo里

接下来准备写一个爬取学校教务系统验证码并训练识别的文章,敬请期待。

  • 资源汇总:Python框架、类库、软件和资源汇总repo
  • 爬虫集合:各种Python爬虫集合
  • Python爬虫教程: 静觅 崔庆才的个人博客
  • Python学习路线: 知乎:如何入门 Python 爬虫?
  • 原repo go语言版本: github-trending
  • Python版本: github-trending

相关新闻

历经多年发展,已成为国内好评如潮的Linux云计算运维、SRE、Devops、网络安全、云原生、Go、Python开发专业人才培训机构!