Tai Spider

Tai Spider

Scrapy框架的nodejs版本。

动机

虽然Nodejs天然就非常适合用来开发爬虫，但是目前在Nodejs领域使用最广泛的爬虫框架 node-crawler 比起 scrapy 来说，功能显得过于简单，无法满足企业化爬虫的开发需求。为此，本项目借鉴 scrapy 的功能特点，使用Nodejs进行的重写，力图为Nodejs程序员提供一个可用好用的爬虫框架。

说明

• 支持JsonResponse，可使用response.getJSON()方法获取返回的JSON对象

文档

参考手册可以访问：TaisSpider In Action

例子

使用 TaiSpider 框架开发的爬虫例子： tai-spider-example

Author: Edward Zhu<zhuhy163#163.com>