deepseek公布广度数据采集方法专利

天眼查财产线索信息显示,近日,deepseek关联公司杭州深度求索人工智能基础技术研究有限公司申请的“一种广度数据采集的方法及其系统”专利公布。

摘要显示,本发明涉及数据采集领域,包括建立网页元信息库;确定每日调度单元下载配额及当日下载总额度;从网页元信息库中选取相应数量的链接,分配下载额度;下载过程控制;下载文本进行后处理及数据清洗后进入回灌队列,通过信息回灌实现网页元信息库更新。本发明的有益效果在于:发现尽可能多的网页链接,并减少对网站的流量冲击;对已经下载的内容进行分析,对未下载的连接进行质量推断,通过择优下载分配额度的方式,减少低质量网页下载和重复下载,提高数据质量及下载效率,减少在数据采集过程中网络资源的消耗;采用单独的信息回灌队列,保证网页元信息库修改操作的原子性和稳定性。

投稿与新闻线索: 微信/手机: 15910626987 邮箱: 95866527@qq.com
欢迎关注中国能源官方网站
分享让更多人看到
中国能源网版权作品,未经书面授权,严禁转载或镜像,违者将被追究法律责任。
即时新闻
要闻推荐
热点专题
精彩视频
追光者
采煤机的“超大份午餐”一刀煤!
藏在你家的“超级充电宝”
迎冬启序
精彩图集
济青高铁潍东上行联络线两座连续梁合龙
“双十一” 夜间物流忙
2025世界动力电池大会在四川宜宾开幕
浙江首座220千伏新型数字智能变电站投运
deepseek公布广度数据采集方法专利
分享到: