Tegenaria crawl framework

tegenaria是一个基于golang开发的快速、高效率的网络爬虫框架

特性

支持分布式
支持自定义分布式组件,包括去重、request缓存队列和基本统计指标的分布式运行
支持自定义的事件监控
支持命令行控制
支持gRPC和web api远程控制
~~支持定时轮询启动爬虫~~

安装

go 版本要求>=1.19

go get -u github.com/wetrycode/tegenaria@latest

在您的项目中导入

import "github.com/wetrycode/tegenaria"

快速开始

查看实例demo example

文档

入门

TODO

~~管理WEB API~~

Contribution

Feel free to PR and raise issues.
Send me an email directly, vforfreedom96@gmail.com

License

MIT © wetrycode