无头浏览器101：它是什么＆＃038;用于自动化的最佳无头浏览器

你是无头浏览器技术的新手吗？然后这个页面已为您编写。本文是无头浏览器的最终指南。您将学习它是什么，它的用途，黑暗的侧面等等。

互联网已经演变，并且网络自动化正在服用前排和越来越多地成为常态。事实上，您可能有利息，开发人员和营销人员正在积极寻找他们工作流程的重复方面，以便自动化以释放无法自动化的其他任务。在所有这种自动化的中心，狂潮是无头浏览器 - 一种技术，它带来了Web浏览器功能，包括脚本渲染和执行JavaScript代码和事件，进入命令行。

引入无头浏览器并不仅限为了使自动化网络测试成为可能，但也开辟了Web刮擦的机会，特别是在处理Ajaxified和JavaScript的丰富网站时es。还有其他用例您可以将无头浏览器放入，这些情况将在文章后面讨论。现在，当我们潜入讨论无头浏览器时，请坐下来放松。

什么是无头浏览器？

一个无知的浏览器是网络没有图形用户界面（GUI）的浏览器。要更好地，任何具有全方位的Web浏览器的功能但没有用户界面的浏览器，并且只能使用脚本或任何其他软件都可以为无头浏览器来操作。

无头浏览器可以控制Web浏览器，而无需处理用户界面的物理加载。例如，拍摄Google Chrome浏览器可以以无头模式运行，并执行甚至触发JavaScript等诸如发送Web请求的evens，单击按钮，执行自定义JavaScript代码，甚至在没有实际启动Chrome的情况下购买

“无头浏览器的重要性在于它们的功能呈现和理解定期浏览器的HTML，CSS和JavaScript。如果您已经尝试使用常规脚本和库在线访问资源，您将发现他们所能做的一切都可以恢复HTML文档 - 了解和呈现JavaScript代码取决于您。

• 通过大多数现代网站主要取决于JavaScript和Ajax技术，这意味着这些工具在他们不能的那一天变得无用访问页面上的所有内容都在页面上。好吧，如果你正在处理这样的网站 - 无头浏览器到救援。

如前所述，Chrome浏览器可以以无头模式运行，实际上，在讨论无头浏览器时，无头铬是最受欢迎的可用。一些流行的无头浏览器包括无头Firefox，Phantomjs，SimpleBrowser，Splash，HtmlUnit和Triflejs。

您需要了解这些浏览器的一件事是使用支持的编程语言中的命令行和脚本来控制它们。它们访问的页面的内容也可以通过命令行访问。对于无头浏览器来工作，他们将需要一个控制器或驱动程序，其中包含Selenium，Puppeteer和赛普拉斯作为流行选项。

无头浏览器用例

• 无头浏览器有许多用例可以总结为一个单词 - 自动化。是的，无头浏览器用于以自动化方式访问网站 - 以及您对此取决于您的方式。让看看你可以使用无头浏览器的一些活动。

  现代网站和应用测试

[

在过去，网页是静态页面，并使用传统的HTTP库测试它们不提供任何主要挑战。但是，在r心态发生了迅速，一些现代网站具有本机应用程序的感觉，外观和用户界面。

在无头浏览器的帮助下，您可以将这些网站渲染并将其视为开发人员而没有手动这样做。无头浏览器应该是现代Web开发人员的测试工具箱的一部分，因为他们能够呈现将发送Ajax的JavaScript和Fire事件，等等。

Web数据抽取

• 依赖于JavaScript渲染其内容存在的演示文稿中的挑战，网络刮刀网站而爬虫，因为它们的内容只能在Web浏览器环境中提取。在无头浏览器的帮助下，您拥有所有需要才能渲染内容才能刮掉它。

Web数据提取的无头浏览器的流行示例之一是Google使用无头铬以爬网，和指数ajaxifieD网站。Web刮擦和爬网中的无头浏览器的另一个用例是绕过防弹系统。使用无头浏览器有助于您避免网站的一些反机Bot系统，因为所有HTTP标头都被发送，呈现JavaScript，并触发事件触发。

• 任务的自动化
  

有许多任务可以从网络数据提取一旁自动化。如今，您可以自动化您的购买，填写表格，发送消息，回复它们，甚至通过无头浏览器提供近乎完整的客户服务。如果您打算自动化任务的网站是现代的，并且依赖于JavaScript，您将很可能需要使用无头浏览器。

页面截图

您是否正在寻找以截图的网页并保存图片格式截图的手段？使用无头浏览器，您可以获取页面加载和渲染完成然后屏幕截图。

• 为什么使用无头浏览器？
  

  你可能感兴趣的是，您可以知道常规浏览器可以自动执行所有无头浏览器的任务。那么，为什么要利用一个无头浏览器而不是带有GUI的常规浏览器？

您可能感兴趣，即使在开发使用无头浏览器的应用程序时，您也可以需要使用带GUI的浏览器进行测试和调试。但申请的发展的那一刻都是完整的，你抛弃了GUI。

自动化的顶部无头浏览器

• 我们已经提到了无头浏览器;是时候描述了一些最好的无头浏览器了。我们将寻求在其下方的3。

无头镀铬 [123

当提到术语无线铬铬时，并不意味着它是来自Chrome的单独浏览器 - 它是常规Chrome Web浏览器中的模式，您知道。 Chrome中的无头模式将铬的所有现代网页和闪烁渲染引擎带到命令行。

无头模式由最新版本的Chrome支持，首先出现在59版中。无头模式是支持Linux，MacOS和Windows。这是大多数浏览器的自动化工具，包括硒和木偶支持。

Playwight Vs.木偶尔与Selenium for Web浏览器自动化

使用Chrome

[ 1.无头Firefox就像在Firefox中的模式一样，就像在Chrome中一样。它在Linux中得到了支持，自版本55.在第56版中添加了对Windows和Linux的无头模式支持。

Selenium是无头Firefox的最佳Web浏览器控制器之一。无头的Firefox，你可以访问所有除GUI Firefox的功能 - 但在内存和资源使用的减少

[123。

SCRAPE vs. Beautifulsoup VS.硒对网页抓取

网页抓取使用Selenium和Python

PhantomJS

除了Chrome和Firefox等主流浏览器之外，Phantomjs是最受欢迎的无头浏览器之一。与上面提到的另外两个通过无头模式支持不同，Phantomjs正在开启Ly可用作无头浏览器。自2010年以来一直存在菲特多米，已经使用了很多。

然而，它不再在积极发展中并已存档。但它仍然可以用作无头浏览器来与现代网络互动。PhantomJS利用的WebKit的网页渲染和JavaScriptCore的执行脚本。

[123

找到Phantiombuster的最佳代理

虽然，具有更多选择Zombie.js

， HTMLUnit ，

Jsdom

和飞溅，但与无头铬，无头萤火虫和幻影相比，没有如此流行。

无头浏览器和抗 - BOT系统

• 没有错误，除了您在您控制的网站上使用无头浏览器;您很可能会被禁区的抗机器系统中断并阻止。这是因为无头浏览器已知自动访问ONLY - 而不是所有Web服务允许自动访问。

为此，如果您正在处理具有抗机器系统的站点，您需要纳入防弹绕过技术。有趣的是，与其他工具不同，使用无头浏览器逃避反机球系统很容易和无压力。这是因为它是一个常规浏览器，因此，将提供给它的主要指数IP地址和验证码。 如何更有效地避开CAPTCHA？ 如何欺骗您的用户代理？ 如何旋转IP地址？ [ 有趣的是，有一种简单的有趣方法来绕过这些 - 蠕动或任何其他代理API到救援。 无头浏览器+爬行者：在天堂制作的比赛Web刮擦如前所述，网站的抗BOT系统将阻止源自机器人的流量。考虑到使使用无头浏览器的大多数脚本是机器人或具有机器人功能，它可以预期块，然后计划如何规避它们。 使用代理服务器，您可以在CAPTCHA SOLVERS将帮助您处理CAPTCHA时，请注意基于IP的限制。但是，走这条路将是很多工作。您可以使用Crawraphera完成它。 爬行物是由刮擦卷材刮擦的代理API。在引擎盖下，Crawraphera是一个代理服务 - 但与常规代理不同，Crawlera旨在帮助您避免防弹系统。 实际上，在此服务，您不必担心代理管理，IP旋转，节流和所有这些。只需发送请求并返回响应 - 它就像爬行的那样简单，而且在内部的sys绕过防弹系统的TEM。它不仅掩盖了您的真实IP地址并旋转它分配给您的请求的IP地址，还要处理CAPTCHA。 您将相对于Crawlera的一件事是基于成功的要求，因此，您只需支付成功请求。使用Crawlera，您可以在有限的时间内享受10k免费试验。 Crawraphera不是市场上唯一的代理API或刮削API;还有许多其他，包括氟化物和刮胡。您可以使用与无头浏览器一起提及的代理API，并扫描Ajaxified网站。 ＃038;技术提示 是无头的浏览器非法？ 我看到很多新手问无头浏览器的使用是非法的 - 事实上，它甚至是其中列出的问题之一e google result页面的无头浏览器关键字。问题的简短答案是否定的。无头浏览器并非非法 - 它们只是一种自动化Web行动的工具。 这是你对它的作用，这使它是非法的。例如，考虑到常规基础上的Web擦除被认为是合法的，只要被刮擦的数据被公开可用，不受版权保护，并且不需要登录到访问。另一方面，票证缩放，分布式拒绝服务（DDOS）攻击，广告欺诈和可以使用无头浏览器完成的其他形式的恶意活动是非法的。 所以，无头浏览器不是非法的 - 这就是你用它们的方法把你置于法律问题。重要的是，你知道这不是一件法律建议，如果你从法律实践者那里寻求这样的法律建议。 无头浏览器带走浏览器GUI和它消耗的资源es，例如记忆。使用无头浏览器，您可以将现代Web浏览器的HTML呈现和JavaScript执行功能带到命令行。 它带来的功能它不仅为Web开发人员开辟了大量的机会这将它用于自动化的Web测试，还使用它，但也是机器人开发人员。除了无头浏览器之外，还有一些其他工具可以用于代替无头浏览器，例如zombie.js和envjs等模拟浏览器环境。 如何从a刮擦html网站使用JavaScript？ 如何构建一个简单的Web刮刀与Python 如何从网站中提取数据？ 如何构建Web爬虫？