Skip to content

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

2 Commits
 
 
 
 

Repository files navigation

crawler

这是我在学习Go语言过程中的第一个Go项目。

这是一个很简单的使用Go语言编写的爬虫项目。

使用了”github.com/anaskhan96/soup“来解析链接。

获取"http://www.downcc.com/soft/list_181_1.html" 网页的资源名字和下载链接,并保存在到本地文件中。

使用了多个goroutine并发爬取网页,由于一共只有285个网页,请求量不是特别大,所以没有在爬取过程中sleep来减轻服务器压力。

使用了并发的往文件里写内容,因为内置的库对文件有读写锁,所以并发的往同一个文件里写内容并没有导致出错。

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

Packages

Used by

Contributors

Languages