前言

看到标题,是不是觉得我疯了,爬虫,这个时间点应该还轮不到 rust 吧!

确实,现在成熟的爬虫技术基本使用 python, java 等,那么这篇文章的用意是什么呢? 我先来交代一下背景, 2017 年,我挖了一个坑: https://zhuanlan.zhihu.com/p/24900305

这个项目后来商用了,所以就不方便继续更新, 到了现在 2022 年了, 各种技术已经迭代了好多次, 那么,我也要重新思考一下一套新的爬虫架构了,这套架构基于云原生,容器化,结合不同语言取长补短,相互配合,简单概括如下:

爬虫节点容器运行,语言无关,所以会支持 python ,java 等各语言开发的爬虫
统一的 DAG 任务分发调度节点
统一的数据集接口

其中一点是爬虫语言无关,所以会设计统一的输入输出接口,让各语言编写的程序都能在容器中执行, python, java, golang 的爬虫生态都很不错了,文章也很多, rust 这方面比较少,所以这里就写一篇 rust 的文章.

爬虫底层关注的技术点

http 库
html 解析
json 解析
WebDriver 集成

http 库

作为爬虫的 http 库, 只要支持 http 协议基本就 ok, 主要是设置 header, 设置 cookies, 设置代理等等.

rust 的 http 库列表 https://lib.rs/web-programming/http-client

这里使用 reqwest 做个简单的示例

use reqwest;
use http::{HeaderMap, HeaderValue, header::{COOKIE,USER_AGENT}};
#[tokio::main]
async fn main()  -> Result<(),reqwest::Error> {

    // HTML
    let url = "https://ssr1.scrape.center/";
    let resp = reqwest::get(url).await?;
    println!("Response: {:?} {}", resp.version(), resp.status());
    println!("Headers: {:#?}\n", resp.headers());
    //println!("Body:{:#?}",resp.text().await?);

    // JSON
    let url = "https://spa1.scrape.center/api/movie/?limit=10&offset=0";
    let resp = reqwest::get(url).await?;
    let json_body:serde_json::Value = resp.json().await?;
    println!("Json:{:#?}",json_body);

    // POST
    let _resp = reqwest::Client::new()
        .post(url)
        .form(&[("name", "value")])
        .send()
        .await;
    // Header
    let _resp = reqwest::Client::new()
        .post(url)
        .header("Auth","xxx")
        
        .send()
        .await;
        
    // UserAgent Cookies
    let client = reqwest::Client::builder()
        .cookie_store(true).build().unwrap();
    let mut headers = HeaderMap::new();
    headers.insert(COOKIE, HeaderValue::from_str("key=value").unwrap());
    headers.insert(USER_AGENT,HeaderValue::from_str("my user-agent").unwrap());
    let _reps = client.get(url)
        .headers(headers)
        .send()
        .await?;
    Ok(())
}

Cargo.toml