Spiking
一个使用Node.js开发的通用爬图工具。
A common web crawler tool developed using Node.js.
为什么选择它？(Advantage)
- 图形化界面（使用Electron） Graphical Interface (Using Electron)
- 自定义初始链接 Custom initial link
- 无头浏览器支持 Headless browser support
- 并发/多线程 Concurrent / multithreaded
- 高效爬取机制 Efficient crawling mechanism
- 自动去重 Automatic similarity
- 可调控的爬取速度 Adjustable crawling speed
- 进度可视化 Progress visualization
- 使用代理 Using a proxy
开始(Getting started)
git clone https://github.com/Xciyang/spiking.git
cd spiking
npm install
npm start
如果你在中国，存在一些致命的问题，使用淘宝镜像无法正常安装Electron@7.0.1。
请先在~/.npmrc文件中加入以下内容，再进行npm install。
npm config set electron_mirror=https://npm.taobao.org/mirrors/electron/
npm config set electron_custom_dir=7.0.1
用法(Usage)
下载最新的Release版本。
Download the latest Release version.
请阅读用法：简体中文(zh_CN)
Please read usage: English(en_US)
待完成项(To-do list)
- 语言本地化 Localization
- 任务保存 Tasks Saving
- 自定义筛选方式 Custom filtering method