本发明公开了一种网络爬虫的任务有效性检测方法、装置和设备及存储介质，用于检测网络爬虫执行采集任务的有效性。该方法包括：记录网络爬虫在执行爬取网页数据任务的过程中的日志；对日志进行处理和分析，以确定在预设时间段内与主URL相关的至少一个指标的值，其中，一个主URL对应多个子URL，所述至少一个指标的值是基于所述主URL以及所述主URL对应的子URL的日志进行确定的；确定所述至少一个指标中任一指标的值是否大于或者等于每个指标自身对应的预设阈值，其中，一个指标对应一个预设阈值；若确定结果为是，则确定上述任一指标的值大于或者等于对应的预设阈值的主URL所对应的任务失效。
声明：
“网络爬虫的任务有效性检测方法、装置和设备及存储介质” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究，如用于商业用途，请联系该技术所有人。
我是此专利(论文)的发明人(作者)
808
编辑：管理员
来源：北方有色网
咨询细节
