限量版球鞋、演唱会门票、火车票、限量秒杀……这些抢购场景，为什么你总是抢不到？实际上，跟你“拼手速”的很多不是真人，而是恶意BOT。恶意的BOT通常利用代理或秒拨 IP、 手机群控等手段，来进行信息数据爬取、薅羊毛等恶意攻击行为，日益损害着企业和用户的利益。
为帮助企业全面认识BOT流量构成、攻击特征、危害等，并为企业提供恶意BOT流量的防护思路。6月30日，腾讯安全发布了《BOT管理白皮书》（以下简称《白皮书》），对2022年上半年的BOT流量情况进行了深入分析。发布会上，腾讯安全WAF高级产品专家马子扬对《白皮书》进行了详细解读，介绍了主流的恶意BOT流量对抗方案，帮助企业防范新型攻击。
与此同时，中国信息通信研究院云计算与大数据研究所开源和软件安全部副主任孔松带来了《云时代应用安全新趋势》的主题演讲，华住集团信息安全总监张维垚也分享了华住集团的BOT攻击防护实践，为企业应对BOT攻击提供经验参考。
BOT攻击呈产业化、
普及化、自动化趋势
所谓BOT，是Robot（机器人）的简称，一般指无形的虚拟机器人，也可以看作是自动完成某项任务的智能软件。BOT流量，指在互联网上对 Web网站、APP应用、API接口通过工具脚本、 爬虫程序或模拟器等非人工手动操作访问的自动化程序流量。
BOT流量的好坏由其意图及行为决定，如搜索引擎、统计和广告程序等正常流量能提升网站排名，进行网站监控提升用户体验的BOT被称为良好BOT流量；而利用代理或秒拨 IP、 手机群控等手段来实现信息数据爬取、薅羊毛、外挂作弊等恶意攻击行为的BOT则是恶意BOT流量。
在数字技术高速发展和疫情的催化下，企业的数字化转型加速，网络空间的流量呈现爆发式增长。据《BOT管理白皮书》统计数据显示，2022年上半年BOT流量约占整体互联网流量的60%，平均每月达到110亿+；在而其中具备恶意攻击性的BOT流量占比则高达46%，恶意BOT流量的危害亟须重视。
（《BOT管理白皮书》显示，2022年上半年恶意BOT流量占比达46%）
马子扬在《白皮书》的解读中表示，BOT攻击的复杂性和频率正在不断升级，2022年上半年，平均每月极度恶意BOT流量占比便达27%，恶意BOT流量增长趋势迅猛多端混杂，攻击目标从业务资源型BOT逐步切换为针对业务内容的API型BOT，多端BOT流量混杂，随着BOT技术的不断迭代，BOT技术被更多地使用在网络攻击上。
BOT 攻击产业化、普及化、隐匿化、自动化
2022 年上半年 BOT攻击的使用手段及技术更加普及，BOT 流量的发起也不再局限于灰黑产业务中。
2022 年上半年 BOT 技术手段变化多样，恶意 BOT 流量的识别和防护难度增加。
2022 年上半年网络攻击更加自动化、武器化。
在马子扬看来，BOT流量需要多维度治理：从数据维度来看，需保护核心资产数据信息不受BOT侵害；从业务维度来看，需防护BOT对平台业务稳定性造成影响；从安全维度来看，需保护基础设置不受扫描器侵害。依托客户端风险识别、安全情报、智能分析，可帮助构筑多层次体系化检测响应防线。
同时，白皮书梳理了包括爬虫机器人、抓取机器人、垃圾邮件机器人、社交媒体机器人等9种BOT常见类型，以及BOT主要对抗手段和对抗方案。譬如，基于规则情报+客户端风险识别+机器学习+AI的Anti-BOT方案，通过规则情报将存在异常的IP（代理、扫描器、威胁情报）、BOT访问特征进行快速过滤，随后通过客户端风险识别中的检测是否真人真机、最后通过后端的机器学习+AI方案分析得出异常的访问行为，并进行处置。
（基于规则情报+客户端风险识别+机器学习+AI的Anti-BOT方案）
WAF成为应用安全防护的
最关键手段之一
面对云上网络攻击的不断演进及BOT流量的激增，WAF安全解决方案的探索和创新已成为全球安全厂商新的发力赛道。与此同时，伴随着容器化、微服务和开发运维（DevOps）等技术的成熟，WAF产品正向云原生WAF演进，并能更好地适配云计算环境对网络安全更细粒度、更敏捷、更弹性的要求。
孔松在《云时代应用安全新趋势》演讲中表示，当前应用安全态势严峻、安全能力亟待升级，从数量上来看，安全事件频发，仅2021年我国境内网站篡改、仿冒、植入后门三类安全事件就高达20万起，且云上应用是主要目标；从类型上来看，攻击手段呈新趋势，2021年电子商务网站遭受的所有攻击中就有57%由BOT发起。
（孔松《云时代应用安全新趋势》）
“WAF作为实现应用安全防护最关键的手段之一，不断适应安全需求变化，继承硬件WAF、软件WAF核心功能的云WAF，依托基础Web防护、CC恶意攻击防护、爬虫防护、漏洞虚拟补丁、敏感信息防泄漏、网页防篡改六大核心能力可快速形成应对新型漏洞的安全策略并全网更新，鉴于BOT的攻击手段在不断发展，未来需在BOT防护上不断进阶，进而护航运营安全。”孔松表示。
腾讯安全WAF是一款基于AI的一站式Web业务运营风险防护方案，沉淀了腾讯20多年业务安全运营及黑灰产对抗经验，除了阻止针对Web应用层的常见攻击，还可有效阻止爬虫、薅羊毛、暴力破解、CC等攻击，通过Web入侵防护、0day漏洞补丁修复、恶意访问惩罚、云备份防篡改等多维度防御策略全面防护网站的系统及业务安全，为客户的云上安全保驾护航。
（腾讯安全WAF BOT管理系统）
针对BOT防护，腾讯安全WAF将安全情报与BOT IP识别模块相结合，同时借助客户端风险识别体系和多维度实时分析，建立了BOT检测响应体系，快速感知来源的威胁程度、应对分布式BOT、高级持续BOT等。腾讯安全WAF打造的BOT解决方案，可以识别已知和未知的BOT，并根据业务影响和检测方法，对BOT分类及定性定量，为每个不同类型的BOT分配适当的管理策略，尽量减少源站服务器的负担以及对业务和IT的影响，避免客户服务资源被占用。
据马子扬介绍，BOT人机对抗难度加大，一是要确保访问不被伪造，二是化未知为已知，三是实时响应、识别高级持续BOT以及恶意BOT对业务的影响。腾讯安全WAF借助威胁情报模块、客户端风险识别模块，帮助客户构筑客户端风险感知防线、安全情报防线、智能分析防线，形成基于数据驱动的动态闭环BOT管理。
腾讯安全WAF的技术实力得到了IDC、沙利文、Forrester等国际权威研究机构的认可。就在2021年12月，腾讯安全BOT管理能力也得到了Forrester《Now Tech: Bot Management, Q4 2021》报告的认可。目前，腾讯安全WAF已经被广泛应用于泛互联网、金融、政务等领域，受到了腾讯音乐、家乐福、建设银行、华住集团、只玩科技等不同行业客户的好评。
腾讯安全WAF助力企业
打造BOT防护利器
在《白皮书》发布会上，华住集团信息安全总监张维垚带来了WAF产品应对BOT攻击的经验分享。据张维垚介绍，华住集团业务遍布全球17个国家，面临着核心API易受攻击、客户数据防泄密、多端接入风险面广和酒店价格信息被爬取的风险，同时核心接口被持续大量BOT流量访问，影响到正常业务访问。
具体而言，关键特定API易常常面临重放攻击、恶意扫描等风险行为；数据安全方面需要重点保护内部系统涉及的客户隐私数据；APP、H5、小程序等多个客户接入类型导致攻击伪装性高；此外，恶意爬虫访问混杂、大量爬取酒店价格信息，致使酒店价格被自动化爬取遍历，优惠策略被同行知晓。鉴于此，需针对性地做BOT策略，为安全风险进行兜底。
（华住整体网络架构）
张维垚介绍称，华住从整体网络架构来看是一个混合云架构，且一部分应用是在腾讯云上运行的，同时线下的机房和腾讯安全WAF进行了打通。得益于腾讯安全WAF提供的BOT解决方案，华住实现了对BOT流量的细粒度分析，同时借助腾讯安全BOT管理，实现了对BOT数据的进阶分析，包括BOT特征分析、BOT标签异常发布在内的详细特征维度，以及BOT异常访问UA 排行、BOT UA访问类型为代表的客户端特征维度。
此外，通过前端对抗、添加登录态、大数据行为分析以及设置人机识别四项措施，腾讯安全WAF帮助华住集团实现了快速分辨客户端风险类型，将恶意终端拒之门外，且可以有效发现群控设备。同时，基于机器学习模型+实时流量统计分析，有效发现访问异常用户，针对代理、IDC等非基站用户、BOT得分较高及其他可疑用户设置人机识别验证码，拦截非真人访问流量。
（华住集团通过腾讯安全WAF实现的业务价值）
在实际效果层面，腾讯安全WAF助力华住集团防护域名140+，提供了网站安全保护，并通过BOT行为管理治理了99%的恶意BOT爬虫流量，通过BOT流量分析发现存在越权行为的API，还通过接入BOT SDK实现了多端的统一的防护控制，帮助企业最终实现了业务价值。
疫情之下，网络空间流量的进一步发展，使得恶意BOT流量的识别和防护难度增加，恶意BOT事件层出不穷，企业的关键在线业务系统逻辑越来越复杂。腾讯安全WAF通过对BOT管理典型场景进行层级划分，针对Web端、移动端、API采取不同处理策略，助力企业打造一站式BOT解决方案。
未来，腾讯安全WAF还将不断优化升级产品和服务，与企业及合作伙伴共同抗击恶意流量，实现高效、智能的恶意BOT防护。
点击阅读原文，可下载完整版腾讯安全《BOT管理白皮书》，解锁BOT流量管理之道！