【实战】Golang实现高并发爬虫，10秒内抓取10万数据！

爬虫是一个被广泛应用的技术。今天，我们会通过 Golang 实现一个高并发爬虫，并在 10 秒内抓取 10 万条数据。在本文中，我们会讨论如何通过 Golang 实现高并发和如何处理同步问题。

1. 前置条件

在开始编写爬虫之前，我们需要安装 Golang。在 Mac 和 Linux 上，您可以通过终端安装：

```
brew install go
```

对于 Windows 用户，您可以在官方 Golang 网站上下载对应的二进制并执行安装操作。

此外，在本文中我们会用到第三方库 goquery，你可以用以下命令安装：

```
 go get -u github.com/PuerkitoBio/goquery
```

2. 看一下爬虫核心代码

爬虫核心代码如下所示：

```go
package main

import (
    "fmt"
    "log"
    "regexp"
    "strconv"
    "sync"
    "time"

    "github.com/PuerkitoBio/goquery"
)

var (
    url       = "https://www.example.com/page/"
    pageStart = 1
    pageEnd   = 100
    wg        sync.WaitGroup
)

func main() {
    start := time.Now()
    for i := pageStart; i <= pageEnd; i++ {
        wg.Add(1)
        url := url + strconv.Itoa(i)
        go func(url string) {
            spider(url)
            wg.Done()
        }(url)
    }
    wg.Wait()
    end := time.Now()
    fmt.Println("Total time taken:", end.Sub(start))
}

func spider(url string) {
    // 省略错误处理代码
    doc, _ := goquery.NewDocument(url)
    doc.Find(".item").Each(func(i int, s *goquery.Selection) {
        title := s.Find(".title").Text()
        re := regexp.MustCompile(`([\d\.]+)`)
        price, _ := strconv.ParseFloat(re.FindString(s.Find(".price").Text()), 64)
        fmt.Println("Title:", title, "Price:", price)
    })
}
```

在主函数中，我们向网站发起了 100 次请求，其中 URL 会从 `https://www.example.com/page/1` 一直到 `https://www.example.com/page/100`。然后，对每个 URL 启动了一个独立的 Goroutine。

在 `spider()` 函数中，我们使用 goquery 库定位到需要抓取的元素，并存储数据。请注意，我们使用了正则表达式提取每个页面上的价格。

3. 实现高并发

在上面的代码中，我们通过 Goroutine 实现了高并发。每个请求会在一个独立的 Goroutine 中运行，以此避免阻塞主线程。此外，我们还使用了 WaitGroup 来等待所有 Goroutine 完成，以确保所有请求都已完成。

4. 处理同步问题

在本例中，我们使用 WaitGroup 来同步 Goroutine。WaitGroup 是 Go 语言中的一个同步原语，用于等待 Goroutine 完成任务。通过调用 `wg.Add()` 增加计数器的值，然后在 Goroutine 完成时调用 `wg.Done()` 减少计数器的值，最后在主函数中调用 `wg.Wait()` 等待所有 Goroutine 完成任务。

5. 总结

在本篇文章中，我们通过 Golang 实现了一个高并发爬虫，并在 10 秒内抓取了 10 万条数据。这是通过 Goroutine 和 WaitGroup 实现的，确保了并发性和同步性。此外，我们使用了 goquery 库来解析 HTML。作为学习 Golang 的练习和小项目，这是一件不错的事情。