采集,一直以来都是本系统重点攻克对象。
我们一直坚持自主开发,不依赖任何接口、任何采集软件
实现程序自主采集功能,但是仍有一些原因,不太理想
如部分网站ip受限,服务器地域受限,导致部分网站采集失败。
所以我们本次4.4发布,将着重与节点开发,节点选择的全体公测。
本篇文章将详细介绍,4.4版本借助节点脚本,实现多区域自主采集。
推荐以下服务器(云主机)搭建采集节点:
国内服务器(主机)
cn2服务器(主机)
官网节点过多人使用,会经常性采集失败,所以需自行更换节点
一、搭建php节点
蓝奏云下载:https://wwi.lanzoup.com/iYdNZz8avze
首先我们,下载上方zip文件,上传到宝塔新建网站里面解压即可。
(1)新建站点
这里我用 testcaiji.wc-os.com 为例;php版本随意。
解压好后,会得到这一个文件
GetCont.php
那么节点完整路径就是
http://testcaiji.wc-os.com/GetCont.php?url=
(2)修改系统节点路径
我们进入到系统目录tomcat下
/www/server/tomcat8/webapps/wc-navs/WEB-INF/classes
找到application-config.properties这个文件
原来是:
wanchen.phputils.getcont=http://phputils.wc-os.com/GetCont/2.0/GetCont.php?url=
修改后:
wanchen.phputils.getcont=http://testcaiji.wc-os.com/GetCont.php?url=
tips:保留"wanchen.phputils.getcont=";后面的内容需要替换掉。
然后保存文件即可生效。
版权说明
本文地址:https://blog.52jsdh.cn/wzdj/6.html
未标注转载均为本站远程,转载请注明文章出处:
发表评论