这是我在学习Go语言过程中的第一个Go项目。
这是一个很简单的使用Go语言编写的爬虫项目。
使用了”github.com/anaskhan96/soup“来解析链接。
获取"http://www.downcc.com/soft/list_181_1.html" 网页的资源名字和下载链接,并保存在到本地文件中。
使用了多个goroutine并发爬取网页,由于一共只有285个网页,请求量不是特别大,所以没有在爬取过程中sleep来减轻服务器压力。
使用了并发的往文件里写内容,因为内置的库对文件有读写锁,所以并发的往同一个文件里写内容并没有导致出错。