现在的互联网服务已经深入社会方方面面,监控网站的变化是许多网站管理人员、信息采集人员、开发人员、运营人员,或者是普通人经常需要做的事情,比如:前段时间我就不断的关注教育局网站的"小升初"政策,目的是希望第一时间获得政策信息,便于后面为小孩填报初中志愿。又比如:我有时候会跟踪电商网站的某个商品价格,希望在它最优惠的时候购买。还比如:我们要从网站合规爬取公开信息,但是我们不希望频繁的去访问网站,也不想每次都全量获取信息,因此跟踪网站信息是否发生变化,非常有必要。
本文主要推荐的是一个开源网页变更检测系统—— Changedetection。
Changedetection在GitHub具有16.8K星,源码地址:
主要的功能特性:
使用操作举例
(1) 支持使用视觉选择器工具定位网页的特定部分
因此,很容易看到什么改变了,检查的字,行,或个别字符。
(2) 支持检测流程配置
(3) 支持惊艳的补货和价格变化通知
通过启用“单个产品页面的重新库存价格检测”选项以激活监控产品定价的最佳方式,这将提取HTML页面中的任何元数据,并为您提供许多选项来跟踪产品的定价。
之后,通过仪表板就可以轻松监控产品价格,当产品价格发生变化或再次有货时,获得警报和通知!
可以设置价格变化通知参数,价格上限和下限,价格变化百分比等。
应用场景举例
安装使用
这个项目支持使用Docker 安装。
docker compose up d
单例模式启动Docker:
docker run d restart always p v>-volumedatastore name changedetectionio dgtlmoonchangedetectionio
也可以使用Pip安装:
pip3 install changedetectioniochangedetectionio d pathtoemptydatadir p
然后访问,即可访问UI。
该项目使用MIT开源许可证,因此也可以基于这个项目进行扩展开发、研究、部署。
© 版权声明