Python 爬虫实战：如何爬取新浪微博实时热搜榜？

前言

在信息高度发达的时代，我们每天都会通过各种渠道获取各种各样的信息。其中，社交媒体已经成为了人们获取信息的重要渠道之一。而在社交媒体中，微博作为一个极具影响力的平台，其实时热搜榜上的热门话题更是让人们快速获取最新资讯的利器。那么，本文将详细介绍如何使用 Python 爬虫技术，获取新浪微博实时热搜榜。

技术知识点

在本次实战中，我们将会使用到以下 Python 技术：

1. requests：Python 神器，用于发送 HTTP 请求。

2. BeautifulSoup：Python 的 HTML 或 XML 解析库，可以方便地从 HTML 或 XML 中提取数据。

3. re：Python 正则表达式库，用于从字符串中匹配并提取数据。

步骤讲解

1. 分析页面

首先，我们需要对新浪微博实时热搜榜页面进行分析，从中找到我们需要的数据。在打开页面后，我们可以通过浏览器的开发者工具，使用选择器工具对页面进行选取。在这里，我们可以先选取所有热搜榜单项的父节点，然后再通过子节点提取我们需要的数据。如下图所示：

![image1](https://img-blog.csdn.net/20180716185343783?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Bsb2dvXzg2MjYyMzU2/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/q/85)

2. 发送 HTTP 请求

我们需要向新浪微博实时热搜榜发送 HTTP 请求，以获取页面的 HTML 代码。在 Python 中，我们可以使用 requests 库来发送 HTTP 请求，并获取到返回的 HTML 代码。

```
import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
url = "https://s.weibo.com/top/summary"
res = requests.get(url, headers=headers)
html = res.text
```

3. 解析 HTML 代码

使用 BeautifulSoup 库对 HTML 代码进行解析，方便我们获取目标数据。

```
from bs4 import BeautifulSoup

soup = BeautifulSoup(html, "html.parser")
```

4. 提取数据

使用选择器工具获取每个热搜榜单项的全部信息。在这里，我们可以使用 CSS 选择器，通过选择器选取需要的 HTML 标签和属性，以及使用正则表达式提取数据。

```
import re

items = soup.select(".td-02")
for i in range(len(items)):
    item = items[i]
    num = i + 1
    keyword = item.text
    hot = re.findall(r"\d+", item.find_next_sibling().text)[0]
    print("{0}. {1}  热度：{2}".format(num, keyword, hot))
```

完整代码

```
import requests
from bs4 import BeautifulSoup
import re

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
url = "https://s.weibo.com/top/summary"
res = requests.get(url, headers=headers)
html = res.text

soup = BeautifulSoup(html, "html.parser")

items = soup.select(".td-02")
for i in range(len(items)):
    item = items[i]
    num = i + 1
    keyword = item.text
    hot = re.findall(r"\d+", item.find_next_sibling().text)[0]
    print("{0}. {1}  热度：{2}".format(num, keyword, hot))
```

总结

通过以上步骤，我们已经成功地实现了爬取新浪微博实时热搜榜的功能。在实现过程中，我们涉及了很多 Python 技术，如 requests、BeautifulSoup、re 等。而在实际爬虫应用中，这些技术都是非常重要且必须掌握的。通过本次实战，相信大家已经对 Python 爬虫入门有了更深入的了解。