文件内容的 web 资源探测器：webprobe
文件内容的 web 资源探测器，根据规则匹配文件内的 web 资源，然后探测资源是否可访问、其内容是否存在某些关键字。
可用在 https 改造中，例如：匹配模板内通过 <script src=""> 和 <link href=""> 方式加载的资源，并检测该资源的源码内是否存在 http:// 关键字（如果存在则该资源有可能会发起 http 请求，所以该资源需要改造）
安装
安装 webprobe
$ sudo npm install -g webprobe
使用
当前目录运行
$ webprobe
会以当前目录为根目录，递归遍历并查找所有以 <script src=""> 和 <link href=""> 方式加载的资源，并进行 http:// 关键字的探测（如果该文件内存在则会进行记录）
默认查找的文件后缀是：types = ['vm', 'html', 'xtpl', 'php'];
通过配置文件运行
配置文件示例1：
module.exports = {
//需要遍历的目录列表，绝对路径
dirs: [
'/github/dir1',
'/github/dir1'
],
//需要查找并进行正则匹配的文件后缀，如果不指定，则用默认文件类型
types: ['html', 'xtpl']
};
将上面内容保存为config.js，运行：
$ webprobe config.js
更多配置项，请参考 config.js
配置文件示例2，多个独立的配置：
module.exports = [
{
dirs: [
'/github/dir1'
],
types: ['vm', 'html']
},
{
dirs: [
'/github/dir2'
],
types: ['xtpl', 'php'],
//可以不设置charset选项，会使用jscharset自动检测每个文件的编码
charset: 'gbk'
}
];
将上面内容保存为config.js，运行：
$ webprobe config.js
更多用法，请参考 config2.js
注意：如果没有指定charset参数，将会用 jscharset 模块自动检查文件编码
报告
程序最后会在控制台输出运行报告，报告内容采用 markdown 语法，最后的显示如 report.md 所示。
为了获得更佳的阅读体验，推荐将输出结果保存入文件然后用 markdown 可视化工具打开：
$ webprobe > report.md
自定义格式
你可以把 webprobe 安装到本地目录，然后自己调用 run 方法得到 report 对象，进行自定义输出：
$ tnpm install webprobe
$ touch index.js
$ vim index.js
index.js：
var webprobe = require('webprobe');
webprobe.run({
dirs: [
'/Users/alvin/Documents/www/ali/git/wuji/webprobe/test/demo'
],
types: ['vm', 'html'],
ignores: [
'ignoreme'
],
replaces: [
{
from: ['$!{uiModule}', '$!{guiModule}'],
to: 'http://g.tbcdn.cn'
}
]
}, function(err, report){
if(err) throw err;
//show report logic
//report = {
// errorURLs : [], // 所有错误的 URL
// ignoreURLs : [], // 所有忽略掉的 URL
// errorProbes: [], // 所有探测失败的 URL
// probeURLs : [], // 所有探测过的 URL
// allURLs: [] // 所有匹配到的 URL
//}
});
高级用法
如 config3.js 所示，你可以自己指定匹配的正则和需要探测的内容。
例如，我需要匹配所有通过 <test link=""> 加载的资源，并探测其内容中是否含有关键字 KISSY：
tags: [
{
name: 'Test',
reg: /<test .*?link=(['"])(.*?)\1.*?>/g,
match: function(response, body){
return body.match(/KISSY/) ? true : false;
}
}
]
甚至是：匹配所有图片资源，找出大小大于 10kb 的图片（参考 config4.js 的配置和运行结果 report4.md）：
tags: [
{
name: 'Image',
reg: /<img .*?src=(['"])(.*?)\1.*?>/g,
match: function(response){
return response.headers['content-length'] > 10000;
}
}
]