Change log

v0.2.7

• 内嵌http接口在可以接收单个Json形式Request基础上增加支持接收Json数组形式的多个Request
• Request对象支持设置skipDuplicateFilter用来告诉seimi处理器跳过去重机制，默认不跳过
• 增加定时调度使用Demo
• 回调函数通过Request传递自定义参数值类型由Object改为String，方便明确处理
• Fix:修复一个打日志的bug

- 阅读剩余部分 -

特别介绍

2016.01.05：专门为SeimiCrawler工程打包部署的maven-seimicrawler-plugin已经发布可用，详细请继续参阅maven-seimicrawler-plugin或是下文工程化打包部署章节。

- 阅读剩余部分 -

SeimiCrawler v0.1.0终于熬过了他漫漫的开发旅程，对外发布了，目前已经同步至中央maven库。dependency：

<dependency>
    <groupId>cn.wanghaomiao</groupId>
    <artifactId>SeimiCrawler</artifactId>
    <version>0.1.0</version>
</dependency>

简介

SeimiCrawler是一个敏捷的，支持分布式的爬虫开发框架，希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛，以及提升开发爬虫系统的开发效率。在SeimiCrawler的世界里，绝大多数人只需关心去写抓取的业务逻辑就够了，其余的Seimi帮你搞定。设计思想上SeimiCrawler受Python的爬虫框架Scrapy启发很大，同时融合了Java语言本身特点与Spring的特性，并希望在国内更方便且普遍的使用更有效率的XPath解析HTML，所以SeimiCrawler默认的HTML解析器是JsoupXpath,默认解析提取HTML数据工作均使用XPath来完成（当然，数据处理亦可以自行选择其他解析器）。

项目主页

SeimiCrawler主页

一些特殊的原因，需要利用HttpClient自动的完成Post方法的301重定向，看了默认HttpClient官方给出的默认实现是org.apache.http.impl.client.DefaultRedirectStrategy，可以定向的方法就限定死了，

/**
 * Redirectable methods.
 */
private static final String[] REDIRECT_METHODS = new String[] {
    HttpGet.METHOD_NAME,
    HttpHead.METHOD_NAME
};

显然是无法完成Post/Redirect/Post的，所以还得继续找Apache针对接口org.apache.http.client.RedirectStrategy的实现，还好在IDE的帮助下很快找到了这个Apache关于自动重定向的终极实现org.apache.http.impl.client.LaxRedirectStrategy，这回支持Post的重定向了，但是发现无法将原Post请求Body中的数据传递下去直接丢失了，这显然是非常不理想的，无法保持原有请求的完整性几乎等于白做一样。苦恼之下只能自行实现RedirectStrategy接口，不过可以继承DefaultRedirectStrategy覆盖他的isRedirected和getRedirect，实现关键的获取重定向后的HttpUriRequest即可，即：

    @Override
    public HttpUriRequest getRedirect(HttpRequest request, HttpResponse response, HttpContext context) throws ProtocolException {

    }

看了HttpRequest 的接口后瞬间就麻木了，

- 阅读剩余部分 -

简介

JsoupXpath 是一款纯Java开发的使用xpath解析html的解析器，xpath语法分析与执行完全独立，html的DOM树生成借助Jsoup，故命名为JsoupXpath.
为了在java里也享受xpath的强大与方便但又苦于找不到一款足够强大的xpath解析器，故开发了JsoupXpath。JsoupXpath的实现逻辑清晰，扩展方便，
支持几乎全部常用的xpath语法，如下面这些：

- 阅读剩余部分 -