SeimiAgent

SeimiAgent是基于QtWebkit开发的可在服务器端后台运行的一个webkit服务，可以通过SeimiAgent提供的http接口向SeimiAgent发送一个load请求（需求加载的URL以及对这个页面接受的渲染时间或是使用什么代理等参数），通过SeimiAgent去加载并渲染想要处理的动态页面，然后将渲染好的页面直接返给调用方进行后续处理。SeimiAgent的加载渲染环境都是通用浏览器级的，所以不用担心他对动态页面的处理能力。目前SeimiAgent只支持返回渲染好的HTML文档，后续会增加图像快照已经PDF的支持，方便更为多样化的使用需求。

下载

目前暂时只支持下面这两个平台的二进制版本的维护更新，其他平台暂时需要自行编译构建

- 阅读剩余部分 -

Change log

v0.2.7

• 内嵌http接口在可以接收单个Json形式Request基础上增加支持接收Json数组形式的多个Request
• Request对象支持设置skipDuplicateFilter用来告诉seimi处理器跳过去重机制，默认不跳过
• 增加定时调度使用Demo
• 回调函数通过Request传递自定义参数值类型由Object改为String，方便明确处理
• Fix:修复一个打日志的bug

- 阅读剩余部分 -

特别介绍

2016.01.05：专门为SeimiCrawler工程打包部署的maven-seimicrawler-plugin已经发布可用，详细请继续参阅maven-seimicrawler-plugin或是下文工程化打包部署章节。

- 阅读剩余部分 -

SeimiCrawler v0.1.0终于熬过了他漫漫的开发旅程，对外发布了，目前已经同步至中央maven库。dependency：

<dependency>
    <groupId>cn.wanghaomiao</groupId>
    <artifactId>SeimiCrawler</artifactId>
    <version>0.1.0</version>
</dependency>

简介

SeimiCrawler是一个敏捷的，支持分布式的爬虫开发框架，希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛，以及提升开发爬虫系统的开发效率。在SeimiCrawler的世界里，绝大多数人只需关心去写抓取的业务逻辑就够了，其余的Seimi帮你搞定。设计思想上SeimiCrawler受Python的爬虫框架Scrapy启发很大，同时融合了Java语言本身特点与Spring的特性，并希望在国内更方便且普遍的使用更有效率的XPath解析HTML，所以SeimiCrawler默认的HTML解析器是JsoupXpath,默认解析提取HTML数据工作均使用XPath来完成（当然，数据处理亦可以自行选择其他解析器）。

项目主页

SeimiCrawler主页

一些特殊的原因，需要利用HttpClient自动的完成Post方法的301重定向，看了默认HttpClient官方给出的默认实现是org.apache.http.impl.client.DefaultRedirectStrategy，可以定向的方法就限定死了，

/**
 * Redirectable methods.
 */
private static final String[] REDIRECT_METHODS = new String[] {
    HttpGet.METHOD_NAME,
    HttpHead.METHOD_NAME
};

显然是无法完成Post/Redirect/Post的，所以还得继续找Apache针对接口org.apache.http.client.RedirectStrategy的实现，还好在IDE的帮助下很快找到了这个Apache关于自动重定向的终极实现org.apache.http.impl.client.LaxRedirectStrategy，这回支持Post的重定向了，但是发现无法将原Post请求Body中的数据传递下去直接丢失了，这显然是非常不理想的，无法保持原有请求的完整性几乎等于白做一样。苦恼之下只能自行实现RedirectStrategy接口，不过可以继承DefaultRedirectStrategy覆盖他的isRedirected和getRedirect，实现关键的获取重定向后的HttpUriRequest即可，即：

    @Override
    public HttpUriRequest getRedirect(HttpRequest request, HttpResponse response, HttpContext context) throws ProtocolException {

    }

看了HttpRequest 的接口后瞬间就麻木了，

- 阅读剩余部分 -