|
<p style="margin-top:16px;color:rgb(34,34,34);font-family:'PingFang SC','Hiragino Sans GB','Microsoft YaHei','WenQuanYi Micro Hei','Helvetica Neue',Arial,sans-serif;background-color:rgb(255,255,255);"> 
<p style="margin-top:16px;color:rgb(34,255);">为啥要写这篇文章，就是为了让你上『最强王者』！?<span style="font-weight:700;">Scrapy的文章，好多好多，但是99%的文章都是，写完爬虫就完事儿了?，至于后来怎么用？去哪里用？都没有交带。我这里就交代一种，可以把你的小虫子部署到服务器上！但是怎么部署，<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">既然我们选择了腾讯云，首先去腾讯云的官网，注册登录一下。<pre style="font-family:Consolas,Menlo,Courier,monospace;font-size:16px;white-space:normal;color:rgb(34,34);background-color:rgb(255,255);">1https://cloud.tencent.com/<p style="margin-top:16px;color:rgb(34,255);">当你看到这篇文章的时候，我不知道腾讯云的优惠是怎样的，反正我当时，给我了7天的云服务器体验。我就准备拿这个试试手。腾讯云界面长这个样子：<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">登录之后，买完服务器之后，在云服务器界面，就会看到你的服务器实例了：<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">界面上面有你服务器的ip地址，我们远程登录，就需要知道服务器的公网ip地址：<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">本地我用Mac的terminal的ssh登录，输入指令就是：<pre style="font-family:Consolas,255);">1$ ssh root@1XX.XXX.XXX.XXX<p style="margin-top:16px;color:rgb(34,255);">然后输入密码，登录成功，就会显示如下界面：<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);"><span style="font-weight:700;">Scrapy<p style="margin-top:16px;color:rgb(34,255);">写的。我们要用到的工具，有Scrapyd和Scrapyd-client。这两个是专门用来部署Scrapy爬虫的东西。OK，既然要部署爬虫，我们就来先看一下我们的爬虫长什么样子。<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">爬虫就是这样，我们部署的任务，目前有两个部分，远端的服务器和我们本地的电脑。我们要把本地电脑的爬虫部署到远端的服务器上，上文中我们提到了两个东西Scrayd和Scrapyd-client这两个东西，分别安装的位置就是远端服务器安Scrapyd，本地需要上传的机器安装Scrapy-client。那么，我们本地机器安装scrapy-client。<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">OK，本地的配置到这里就结束了。我们接着之前的教程来登录你远端的服务器，登录成功之后，我们需要安装Python3.6，以及Scrapyd等东西。<p style="margin-top:16px;color:rgb(34,255);">你只需要按步骤输入一下命令行就可以，有些命令执行起来可能会时间比较长，请稍作等待<p style="margin-top:16px;color:rgb(34,255);">：<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">安装好之后，运行命令<pre style="font-family:Consolas,255);">1# '/usr/local/python3/bin/scrapyd'<p style="margin-top:16px;color:rgb(34,255);">会启动scrapyd，如下图:<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);"><span style="font-weight:700;">Scrapyd启动后，是可以通过访问6800端口查看到网页信息的。那么这里我们如果想通过外网ip访问到网页，是失败的<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">接着，我们还需要给我们的云服务器配置一下安全组，要把6800的接口权限开通，这样才能够通过外网访问到服务器的网页。<p style="margin-top:16px;color:rgb(34,255);">腾讯云的控制台页面，左侧选择安全组，<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">选择新建按钮，我们这里选择常用的端口暴露，即第二个。<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">然后选择修改规则，因为我们要把6800加进去。<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">选择我们刚才添加的那个安全组，点击确定。<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">OK，<p style="margin-top:16px;color:rgb(34,255);"><span style="font-weight:700;">现在就是见证奇迹的时刻<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">由于我们还没有部署爬虫，所以，点击Jobs和Logs链接进去之后，都是空页面。<p style="margin-top:16px;color:rgb(34,255);">啊，我的快捷标签大家就别关注了。看到这个页面就说明你的Scrapyd在远端的服务器上面已经跑成功了。<p style="margin-top:16px;color:rgb(34,255);">
<pre style="font-family:Consolas,255);">1$ scrapyd-deploy TencentCloud -p DailyWeb<p style="margin-top:16px;color:rgb(34,255);">若是在这期间有错误，根据错误提示来自行安装Python库就好。等到部署成功，会出现如下画面：<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">看到我们的DailyWeb爬虫已经成功部署到了腾讯云服务器上了。<p style="margin-top:16px;color:rgb(34,255);">我们可以通命令：<pre style="font-family:Consolas,255);">1curl http://119.75.216.20:6800/listprojects.json<p style="margin-top:16px;color:rgb(34,255);">可以看到远端服务器上的爬虫:<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">OK，我们现在如果想要爬虫启动，那么只需要输入命令：<pre style="font-family:Consolas,255);">1$ curl http://119.75.216.20:6800/schedule.json -d project= -d spider=<p style="margin-top:16px;color:rgb(34,255);">我们这里输入的命令则是：<pre style="font-family:Consolas,255);">1$ curl http://119.75.216.20:6800/schedule.json -d project=DailyWeb -d spider=Caoliu<p style="margin-top:16px;color:rgb(34,255);">输入完，本地的terminal会呈现：<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">我们在浏览器里，访问服务器的6800端口，就能够在网页的Jobs里面看到爬虫工作状态了：<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">可以看到，爬虫的进度在Running里面，当爬虫爬完了，会在这个里面：<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">我们退到上级页面，从Log里面看，就发现有一条log文件。<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">23K的log文件，<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">OK，到此为止，如果你能跟着我的步骤一步一步做到这里，首先恭喜你，说明你很优秀，很有毅力，绝对是个编程的料，而且还有可能成为<p style="margin-top:16px;color:rgb(34,255);">Python大神<p style="margin-top:16px;color:rgb(34,255);">。<p style="margin-top:16px;color:rgb(34,255);">对于优秀的人而言，奖励是必须的，可以关注『皮克啪的铲屎官』，回复『服务器爬虫』，即可获得爬虫的源码，同时，可以多试试回复几次，说不定有惊喜呢。<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">谢谢阅读，欢迎大家关注我的博客或者公众号可领取全套资料：https://home.cnblogs.com/u/Python1234/ Python学习交流<p style="margin-top:16px;color:rgb(34,255);">欢迎加入我的千人交流学习答疑群：125240963 （编辑：李大同）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
