登录 注册

　　ip海的运用方式有很多，如果我们需要批量获取数据，要自己手动一条条来收集是不是会花费很多的时间，而且这也非常的麻烦，但是如果通过爬虫抓取，那么就简单多了。

　　下面IP海以用ip代理爬取贴吧数据为例： 先写一个main，提示用户输入要爬取的贴吧名，并用urllib.urlencode()进行转码，然后组合url，假设是lol吧

　　那么组合后的url就是：tieba.baidu.com/f?kw=lol

　　接下来，我们写一个百度贴吧爬虫接口，我们需要传递3个参数给这个接口， 一个是main里组合的url地址，以及起始页码和终止页码，表示要爬取页码的范围。

　　我们已经之前写出一个爬取一个网页的代码。现在，我们可以将它封装成一个小函数loadPage，供我们使用。

　　最后如果我们希望将爬取到了每页的信息存储在本地磁盘上，我们可以简单写一个存储文件的接口 。

　　其实很多网站都是这样的，同类网站下的html页面编号，分别对应网址后的网页序号，只要发现规律就可以批量爬取页面了。

　　所以做个爬虫并不是特别难，如果还是没有代码不清楚是什么回事，也不要紧，我们根据简单去看看，以这个为模板，更换其中一些代码即可。

　　这样通过爬虫，我们能够简化操作，而且也可以不用那么枯燥的一条条自己手动来记录。