PHP开发：使用PHP抓取百万知乎用户以及知识点札记
发布时间：2016-09-28 22:33:31 所属栏目：PHP教程 来源：博客园
导读：副标题#e# 代码托管地址：https://github.com/hhqcontinue/zhihuSpider 开发前的准备 安装Linux系统（Ubuntu14.04），在VMWare虚拟机下安装一个Ubuntu； 安装PHP5.6或以上版本； 安装curl、pcntl扩展。 使用PHP的curl扩展抓取页面数据 PHP的curl扩展是PHP支
|
不同的用户的这个url几乎是一样的，不同的地方就在于用户名那里。用正则匹配拿到用户名列表，一个一个地拼url，然后再逐个发请求（当然，一个一个是比较慢的，下面有解决方案，这个稍后会说到）。进入到新用户的页面之后，再重复上面的步骤，就这样不断循环，直到达到你所要的数据量。 Linux统计文件数量 脚本跑了一段时间后，需要看看究竟获取了多少图片，当数据量比较大的时候，打开文件夹查看图片数量就有点慢。脚本是在Linux环境下运行的，因此可以使用Linux的命令来统计文件数量： ls -l | grep "^-" | wc -l （编辑：宁德站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
