spider-client
项目介绍
超级简单的分布式爬虫系统。此项目为爬虫客户端，功能有：抓取、解析、存储、任务调度、任务监控等。抓取请求模板存储在redis中，利用redis的set和list集合作为存储爬取请求的队列；点击跳转到服务端,此项目用到的httpclientp
软件架构
参考例子
细节介绍
- 下面bc皆为 let bc = new BulldozerC, BulldozerC在同一进程中最好只new一次，new的对象会赋值给全局变量 global.bulldozerc_new。
- spider-client中通用格式爬取请求模板
{
"md5": "请求信息的md5,由path+method+postdata等组成，具体请看http_utils.buildHttpcontext",
"request": {
"postdata": "如果是post请求，请填写postbody参数,支持字符串和json格式；如果是get请求，可以为null",
"options": {
"method": "POST-请求方式",
"path": "请求地址,如:https://www.baidu.com/"
},
"timeout": 超时时间ms，不填默认没有
},
"response": {},
"data": {
"next": "处理此次请求的方法名称,系统会通过事件去触发此方法执行",
"url": "请求地址,如:https://www.baidu.com/",
"属性1": "next方法需要用到的属性",
"属性2": "next方法需要用到的属性",
"属性n": "next方法需要用到的属性"
},
"charset":"返回内容编码,不填将默认取res头中的编码，如果是二级制，如：图片，pdf等，请填buffer"
}
此模板可以通过 bc.httpUtils.buildHttpcontext方法获构建,如：
let httpcontext = bc.httpUtils.buildHttpcontext('post', {
'next': 'textfunction',
'url': 'https://www.baidu.com/',
'prototype1': 'next方法需要用到的属性',
'prototype2': 'next方法需要用到的属性',
'prototypen': 'next方法需要用到的属性'
}, 'a=1&b=2', 2000, null, 'gbk');
console.log(httpcontext);
- spider-client中通用格式爬取请求返回结果模板
let httpcontext = {
"md5": "请求信息的md5,由path+method+postdata等组成，具体请看http_utils.buildHttpcontext",
"request": {
"postdata": "如果是post请求，请填写postbody参数,支持字符串和json格式；如果是get请求，可以为null",
"options": {
"method": "POST-请求方式",
"path": "请求地址,如:https://www.baidu.com/"
},
"timeout": 超时时间ms，不填默认没有
},
"response": {
'statusCode': 请求返回的状态码,
'body':'请求返回的内容,如果charset=buffer,此body为buffer对象'
},
"res": 请求返回的完整res对象
"data": {
"next": "处理此次请求的方法名称,系统会通过事件去触发此方法执行",
"url": "请求地址,如:https://www.baidu.com/",
"属性1": "next方法需要用到的属性",
"属性2": "next方法需要用到的属性",
"属性n": "next方法需要用到的属性"
},
"charset":"返回内容编码,不填将默认取res头中的编码，如果是二级制，如：图片，pdf等，请填buffer"
}
此模板可以通过 bc.httpUtils.buildHttpcontext方法获构建
- 和服务端bulldozer进行交互. mysql操作具体可以参考jsontosql2
和服务端进行交互的数据格式为: let collection = {'name':'queueName|tableName', 'data':[{对象内容}], 'duplicate':['mysql表字段1','mysql表字段2']};,其中 duplicate为支持 mysql duplicate update 用法。如果是redis或者mongodb则不需要duplicate
1. 将请求模板存储在redis队列中
(1).bc.dbClient.lpushs({'name':'queueName','data':[httpcontext]}); //支持数组和对象，将请求模板 httpcontext 存储在list队列queueName中
(2).multilpush 同(1)，支持事物
(3)sadds，支持数组 将请求模板 httpcontext 存储在set对了queueName中
(4) multisadd，支持数组 同(3)，支持事物
(5) saddDistinct,支持对象，此方法会过滤掉之前抓取过的请求连接，过滤原理:此方法会将请求加入到两个队列中,既:queueName和queueName:distinct。将请求模板 httpcontext 加入到 queueName,将请求模板 httpcontext 的md5加入到queueName:distinct中，加入之前会先加入queueName:distinct中，如果加入成功，在加入queueName中，否则说明已经抓取过了，不在加入
(6)saddDistincts，同 (5) 支持数组。
(7)rpop，同redis rpop命令
(8)lpop，同redis lpop命令
(9)spop，同redis spop命令
(10)rpoplpush({'name0':'queueName0', 'name1':'queueName1'}), 同redis rpoplpush 命令,从queueName0取出val，返回并加入到queueName1队列中
(11)spopsadd({'name0':'queueName0', 'name1':'queueName1'}),，set版本取出再插入，从queueName0取出val，返回并加入到queueName1队列中
(12)setTaskState('queueName','0000') 优雅的暂停任务,设置为0000最多30s内会暂停任务，设置为不等于0000，最多30s内会恢复
(13)getTaskState('queueName') 获取任务的状态，当值为0000的时候，任务会暂停；非0000，任务恢复
2. 将解析完成的数据存储到mysql中,假设表已经建好
(1) 设置了UNIQUE KEY, 用到duplicate update，根据UNIQUE KEY去重
let collection = {
'name': 'tableName', //表名称
'data': [{'a':1,'b':2,'c':3,'UNIQUE_KEY':'1'}], //数据
'duplicate': ['a', 'b', 'c'] //唯一约束冲突后进行更新的字段
};
bc.mysql_save(collection);
(2) 未设置UNIQUE KEY
let collection = {
'name': 'tableName',
'data': [{'a':1,'b':2,'c':3}]
};
bc.mysql_save(collection);
(3) update数据
let collection = {
'name': 'tableName', //表名称
'data': {'a':1,'b':2,'c':3}, //更新的值
'where': {'UNIQUE_KEY': 1} //更新条件
};
bc.mysql_update(collection);
- 任务开始
1. bc.runTask(collection, mainProgram, taskName, intervalTime, operation)
(1) collection : 队列名称 {'name':'queueName'} (operation=rpop|spop), {'name0':'queueName0', 'name1':'queueName1'} (operation=rpoplpush|spopsadd)
(2) mainProgram : 爬虫具体脚本对象
(3) taskName : 爬虫名称
(4) intervalTime : 定时从redis取爬取请求模板时间间隔
(5) operation : spop，spopsadd从set中取出爬取请求模板；rpop，rpoplpush从list中取出爬取请求模板
2. bc.testDelayStartRequest(handlerContext, queueName, delay, operation); //单个请求测试入口
- 任务重试
1. bc.retry(handlerContext);
(1) 默认重试3次，重试3次失败后会打印日志，日志包含 retry_fail 或 request_fail_no_retry
(2) 重试次数可以配置，配置参数 global.request_retry_count
- 指标信息，指标是用pmx实现的，用pm2启动程序，执行命令pm2 show id可以看到相关指标信息:
Code metrics value
┌───────────────────────────────────────────────────────────────────────┬────────┐
│ Loop delay │ 0.36ms │
│ Active requests │ 0 │
│ Active handles │ 4 │
│ bulldozer_c{type="queueName",next="downloadLogo",event="total",} │ 7204 │ //总数
│ bulldozer_c{type="queueName",next="downloadLogo",event="succ",} │ 7197 │ //成功次数
│ bulldozer_c{type="queueName",next="downloadLogo",event="fail",} │ 6 │
│ bulldozer_c{type="queueName",next="downloadLogo",event="retry_fail",} │ 3 │ //重试3次失败总数
│ bulldozer_c{type="queueName",next="downloadLogo",event="retry",} │ 3 │ //重试次数
│ bulldozer_c_http{type="queueName",statusCode="301",} │ 3 │ //http statusCode相关指标
│ bulldozer_c_http{type="queueName",statusCode="405",} │ 2 │
│ bulldozer_c_http{type="queueName",statusCode="404",} │ 1 │
└───────────────────────────────────────────────────────────────────────┴────────┘
以上是默认指标，也可以自定义指标
bc.getCounter(keyName) 可以获得指标名称:
1. 如果keyName是字符串，将直接以字符串为指标名称
2.如果指标为对象，将以key键值为指标名称，如:let retryFailkeyName = {'key': 'bulldozer_c', 'type': queueName, 'next': 'downloadLogo', 'event': 'total'}; 指标为: bulldozer_c{type="queueName",next="downloadLogo",event="total",}
- 指标采集,采集服务pm2-agent
采集例子:
# HELP bulldozer_c HELP.
# TYPE bulldozer_c gauge
bulldozer_c{type="queueName",next="downloadLogo",event="total",nodeName="download_logo",pid="1218094",} 7281
bulldozer_c{type="queueName",next="downloadLogo",event="succ",nodeName="download_logo",pid="1218094",} 7200
bulldozer_c{type="queueName",next="downloadLogo",event="fail",nodeName="download_logo",pid="1218094",} 81