从限制 IP 到全流程防控，网络爬虫与技术反爬的三个攻防阶段

顶象最新一期业务安全情报显示，某社交媒体平台遭遇持续性的恶意爬虫攻击，被批量盗取用户信息和原创内容，经分类梳理和初步加工后，被黑灰产转售给竞争对手或直接用于恶意营销。由此不仅给用户造成隐私和信息泄露，

2022-12-21 资讯 我要分享

C#爬虫与反爬虫--字型加密篇

爬虫和反爬虫是一条很长的路，遇到过js加密，flash加密、重点资讯生成图片、css图片定位、请求头.....等手段；今天我们来聊一聊字型； 那是一个偶然我遇到了这个网站，把价格资讯全加密了；浏览器展示：检视源代码后是这样：当时突然恍然大悟，以为不就是把价格…

2019-09-24 科技 我要分享

python爬虫常见反爬措施

JS1.IP封锁常见网站反爬虫首先考虑到会不会对使用者产生误伤，举个例子，在校园网内，有台机器对网站持续高频繁产生请求，校园网涉及使用者过多，但是如果封锁IP那么会对校园中的使用者产生误伤，丧失了许多使用者量，就拿某宝那么大的公司来说，不到万不得已时，不会对I…

2019-11-19 科技 我要分享

零基础如何才能学好python爬虫呢？是要分这几个阶段的

学习Python程式设计的人很多，有的人学完之后做了AI算法工程师，有的做了Python开发工程师，有的做了Python资料分析工程师，当然也有的做了Python爬虫工程师，今天我们就来看看Python爬虫怎么学，分为哪几个学习阶段吧。如果你仔细观察，就不难…

2019-12-22 科技 我要分享

以变制变！验证码动态素材在攻防对抗中的重要应用

验证码作为安全服务中最贴近大众用户的一环，也是任何产品在用户登录环节几乎必备的一环，从最初的文本型验证码到知识型验证码到行为轨迹验证码，再到智能无感验证码，验证码厂商花了十几年的时间。而验证码每一次更

2022-09-13 资讯 我要分享

再获权威认可！国双成为国内首批获得TAG反欺诈…

2021年7月2日，国双互联网广告监测分析优化平台Ad Dissector(以下简称AD)成功通过TAG数字广告流量反...

2021-07-06 综合 我要分享

通付盾Web爬虫防火墙联合中科曙光服务器打造全…

前一段时间，通付盾爬虫防火墙软件与中科曙光H系列服务器联合完成的最新升级网络安全产品，经过检测...

2020-08-05 综合 我要分享

当互联网业务安全来到反欺诈风口

导语 ：从互联网诞生到现在，安全就一直是个引人瞩目的话题。但现状是，只有发生了“真金白银&...

2019-03-09 综合 我要分享

八个好用的Python爬虫技巧

用python也差不多一年多了，python应用最多的场景还是web快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖指令码、写过收发邮件指令码、写过简单验证码识别指令码。爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。1、基本抓取网页…

2020-01-02 科技 我要分享

8 个常用的 Python 爬虫技巧 分分钟提高效率

爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。1、基本抓取网页get方法import urllib2url = "http://www.baidu.com"response = urllib2.urlopen(url)print(resp…

2019-10-17 科技 我要分享

无形战争：爬虫技术是武器 你的手机是一名不知情的士兵

编者按：在互联网的世界中，尤其是零售领域，一直都在经历著一场无形的数据战争，它们的武器是爬虫技术，我们每一个参与者，可能就是一名不知情的士兵。日前...

2018-07-30 科技 我要分享

这届网友已经开始用爬虫互相贴标签了

十几天前，在为C端用户提供拓展脚本的论坛网站GreasyFork上，一位开发者做了一款"原神玩家指示器"。据开发者留下的公开信息，此拓展脚本主要应用于B站视频的评论区，安装了该工具的用户可以识别出发言

2022-12-21 资讯 我要分享

每天2小时 20天掌握资料分析必备技能

对比互联网各个岗位的裁员程度可以发现，资料分析相关岗位正在不断的扩招，已经成为了这波逆流中的黑马，什么原因导致的资料分析人才如此紧缺？因为资料分析是大势所趋，未来的发展空间会大有可为。随着5G网络即将商用，企业每天将会产生海量的资料，BAT日均资料更是达到了…

2019-11-01 科技 我要分享

为什么必须保护Robots协议？

林华 　　一、从Spider程序到Robots协议 　　即使不是工...

2019-02-23 综合 我要分享

春节机票销售大增！航空领域哪些业务风险要注意？

春节旅游与出行数据陆续出炉。中国民航局数据显示，2023年1月21日至27日(农历除夕至正月初六)，春节假期七天民航运输旅客900万人次，比2022年春节同期增长79.8%，平均客座率达76%，比20

2023-02-24 资讯 我要分享

电商爬虫机器人大战：防止被刺探情报 亚马逊是行家

­导语：路透社今天撰文称，在与对手竞争的过程中，亚马逊在爬虫机器人领域的领先地位虽然鲜为人知，但却对它的发展起到了重要作用。­以下为文章全文...

2020-01-23 综合 我要分享

基于Python的Post请求资料爬取

为什么做这个和同学聊天，他想爬取一个网站的post请求观察该网站的post请求引数有两种型别：（1）引数体放在了query中，即url拼接引数（2）body中要加入一个空的json物件，关于为什么要加入空的json物件，猜测原因为反爬虫。既有query引数又有…

2019-12-19 科技 我要分享

不越界的搜索引擎就是视频网站的“朋友”

不越界的搜索引擎就是视频网站的“朋友”

2019-05-21 综合 我要分享

警惕视频行业惨烈竞争成为“零和游戏”

警惕视频行业惨烈竞争成为“零和游戏”

2019-03-02 综合 我要分享

Skr 如何用Python爬取中国新说唱热门歌曲？

作者 | 初一责编 | 郭芮之前风靡朋友圈的“skr”流行语把中国新说唱这一节目带上了热议高峰，本文就来分析下，如何用Python爬取大受欢迎的说唱歌曲。首先登录...

2018-10-03 科技 我要分享