刮痧craigslist：3个步骤从Craigslist刮下数据而没有被阻止！

Craigslist是一种令人难以置信的难以用于数据收获的网站，因为它们是如何设置的一切。根本没有简单的方法来刮掉数据。

在大多数商业，数据库和社交网站上，开发人员为电力用户提供了一个API来刮擦数据并以他们想要的格式输出它。例如，查看文件Facebook的API。

您可以从您拥有的页面上实际提取任何见解数据，您可以从您自己的页面中提取一堆公共数据。甚至都很令人惊讶。

克雷斯列表是一个特殊的案例。他们有一个API，但它反向函数。 Facebook的API允许您提取数据，但不允许发布。您需要使用应用程序的应用程序。 CRAIGSLIST API允许您在批量邮寄，如果需要，但它不允许您提取只读数据。

这是一个落后的实现，但它从中获得了一定的意义克雷格诽谤的观点。

他们从允许企业，特别是房地产管理人员具有大量属性的福利，通过简单的API批量发布。另一方面，它们通过允许第三方刮掉数据来获得任何内容，大概是在非CRAIGSLIST网站上显示它。

他们对他们的服务器的压力更多。

Craigslist确实有RSS源您可以在网站的各种小节和地区订阅。这些可供个人使用，但如果您尝试使用它们以批量收获数据并在其他地方使用该数据，您可能会阻止您的访问权限。 Craigslist甚至在他们的服务条款下说，平坦：

您同意不使用或提供软件（除通用网络浏览器和电子邮件客户端除外，或由我们明确许可的软件）或与CL相互作用或互操作的服务，例如对于Dow.nloading，上传，发布，标记，电子邮件，搜索或移动使用。禁止机器人，蜘蛛，脚本，刮刀，爬虫等，因为误导，未经请求，非法和/或垃圾邮件发布/电子邮件。您同意不收集用户的个人和/或联系信息（“PI”）。

这一切意味着什么？它很简单地分解。

你只能通过Web浏览器或电子邮件客户端访问Craigslist。

• 您只能使用Web浏览器或其批量发布API发布到CraigsList 。
• 您无法使用蜘蛛，爬虫，脚本或任何类型的机器人刮擦数据。
• 您无法收集用户个人数据或联系信息。

此外，当然，也有基本的反垃圾邮件措施。总之，本文的整个焦点 - 使用第三方软件刮Craigslist的数据 - 是针对使用的CL条款

刮合法性时craigslist刮

为什么我把它带起来？主要是两个原因。一个很明显;我们是一个主要为代理提供指南和审查的网站，并且代理对此过程至关重要。另一个是一个基本的警告。

在遵循这些指令时，您正在做的任何事情都在您身上。你现在知道，进入它，它是针对网站使用的使用条款。因此，您对任何发生的任何事情都是责任，从您的访问被阻止，您的帖子删除，或者您的IP被禁止。您可能可能甚至受法律行动。

从Craigslist法律缩写数据？

• 克雷斯列表有，在过去，甚至采取了法律行动。这一切都取决于您的刮削的规模，当然以及您收获的数据的使用情况。数据分析或多或少罚款。商业用途，特别是商业用途，即在CL的领土上执行这些步骤，将激怒野兽。

最令人着名的情况是克雷格之间最近结算的法律斗争SLIST和3TAPS API创建者，本身名为3TAPS。

基本上，3TAPS创建了一个CRAIGSLIST数据收获API。他们与PadMapper合作，这是一家使用从CraigsList收获的房地产数据并在地图上覆盖它的公司。这产生了一个房地产可用性地图，诚实是一个非常有用的功能，并且令人惊讶的是，Craigslist没有自己的排序。然而，这是下一节。

Craigslist显然没有批准从他们在第三方网站上使用他们的服务条款中使用的网站的数据。他们始于3TAPS和PadMapper的法律诉讼，该诉讼与2012年6月开始始于2015年6月，才刚刚解决2015年6月。这两个网站都被要求停止收获数据，3TAPS支付的克雷斯列表是整个数百万美元。[123

虽然3TAPS和PACMAPPER仍然存在使用来自非CRAIGSLIST网站的数据，但是如果您的TR，则只是可能发生的事情的一个示例y刮掉CL数据并在商业用途中使用它。

当CL发出停止和停止信并禁止他们的IPS时，所犯的主要错误是忽略的。他们继续规避这些限制和刮擦数据，这反过来导致了进一步的法律诉讼。我的建议？如果你得到一个c＆amp; d字母，符合。这可能是不值得的。

raigslist的问题

Craigslist是一个有很多问题的网站。它在2006年首次亮相，但它从那时起改变了多少？多年来，他们有一些重大的更新，但是从它的发射开始，将

当前设计

进行了

互联网档案

。它根本很难改变。它以其为中心而不是左对齐，它具有更好的着色和间距，但它在很大程度上是相同的。如今，您有三种类型的广告发布。

广告ntext联系信息。这些通常由希望让人们联系他们的企业发布。这些企业有STA FF来接听电话，因此杂草揭示了令人讨厌的呼叫者。 ADS具有混淆的联系信息

。这些是邮寄个人广告的人，并用一种\\u200b\\u200b格式邮寄电话号码（五个＆＃8230; 5 ,,5）1TWO ...... .three-four56\'\'\'7。他们这样做，所以一个人可以，有一些困难，解析电话号码，但机器人发现它是不可能的。

广告没有联系信息
• 。如果要联系广告的海报，则需要将电子邮件发送到CRAIGSLIST提供的匿名电子邮件地址作为转发地址。你看不到海报，但他们看到你的回报地址，并可以自由地回复。
• 这些日子有问题，这些日子里有什么问题。邮寄标题是免费的，包括各种各样的Unicode符号，实际上，它几乎使其更加易受任何影响要做，因为普通文本头条没有脱颖而出。这也给刮板带来了一个问题，需要弄清楚如何解决这些特殊字符或完全删除它们。

当然，垃圾邮件的持续问题。这对更“严肃的”部分来说，这不是一个问题，就像房地产部分，这有点受到了严重的调节。相反，它们在更多个人部分中的问题，如免费，工作和整个个人类别。

• 哦，CL确实具有反垃圾邮件措施。有时他们需要电话验证。除了批量邮政API之外，它们具有张贴限制，其仅在某些部分中工作。他们有一个自动化的系统，以锁定打破规则的人。它没有任何作用。 最糟糕的部分是，克雷斯列表正在进行几年前提高该网站的灵活性和活力。您可以使用大量的HTML来自定义您的帖子，使得薄网站本身看起来更加强大以更好的方式提供更多信息。 2013年，Craigslist删除了这些功能，将网站返回到其基本的黑白外观。他们称之为

飓风

克雷尼

，因为网络监测器和营销人员都没有，如果不是过度污秽的话。

飓风克雷格只有一个好处，这是它标准化的事实帖子中的更多数据。它使机器人更容易从浏览器窗口拉出数据，而不是基于某些标准在代码中查找和解析数据。所以，对你有好处，raigslist;你让我们更容易做你不想要的事情。

为什么你可以刮伤Craigslist

为什么你必须有什么原因来刮伤CRAIGSLIST数据？好吧，有很多不同的原因。

在分析前部

你总是只想收集数据来编写报告。调查新闻仍然存在，如今可能存在罕见。你是mi.GHT希望在给定的部分刮掉所有帖子，并分析关于它们的事情，如产品的平均价格，或发布频率，或者将物品类型与用户联系的速度进行比较。当然，这一切都没有盈利;它只是以其他方式使用的信息。老实说，我认为Craigslist会很好，我觉得你会安全地做到这一点，因为他们不会赢得法庭案件。当然，我不是律师，所以用一大块盐。

你可以收集你想要的信息的数据使用。例如，如果您正在为二手车购物，例如，您可能希望收取二手车上的所有数据，以相关的价格，位置和制作有关车辆的信息，因此您已浏览中央位置。作为Craigslist可以是有用的，他们的浏览和过滤的糟糕类型。

在有利可图的前面

您可以刮掉数据你想买和转售。一个共同的目标是音乐会和事件门票;您可以监控售罄的事件，刮伤Craigslist为已售出的活动找到门票，购买任何低于某个价格点，并在其他地方转售它们，如eBay。当然，这确实如此，依靠很多个人的E FF ORT，但嘿，有些人会做很多钱来制作一些雄鹿队。

在商业前线

你可以用它来产生铅。您可以为正在寻找您提供的服务或项目的任何人刮擦想要的部分，然后与他们联系以出售您的产品。它可能不是一个非常有效的方法产生导线 - 可能不再能够在第一个地方发布销售广告 - 但是它在那里。

当然，所有这些都依赖于您愿意违反Craigslist的愿意服务。我强烈建议避免任何公开的商业用法。 Padmapper的路线打开了所有相同的合法daMAGES，并且已经可以且无法成功的参数已经存在了法律的先例。

从CRAIGSLIST刮擦数据的逐步指南

您使用的确切方法对于刮擦数据，遗憾的是，在您决定使用的工具上取决于很多。一般过程将看起来像这样。

步骤1：拾取工具

第一步是挑选您想要使用的刮刀刮伤craigslist。你可以，如果你愿意，自己就会开发一个。如果您是编码器，这是一个有趣的练习。如果你不是，那么，当已经存在这么多的DI FF的工具时，没有理由打扰一个。这是一些选项的破录，尽管它们绝不是所有可用的选项。

apify craigslist刮刀

123] Apify是一个Web刮削平台，包括数百个用于刮擦流行网站的现成工具。 APIFY CRAIGSLIST刮刀是免费的且易于使用的，让您允许您根据任何搜索条件刮掉帖子。

刮刀将提取和下载发布的图像，价格，日期以及帖子的URL。您可以根据您的喜好安排爬虫以经常运行，甚至可以在找到新帖子时向您发送电子邮件警报。您可以使用带有刮刀的内置APIFY代理服务，因此您甚至需要担心设置代理。 云爬虫

这个爬虫是一个专门在云中工作的网蜘蛛，这使得步骤2有点不必要。然而，使用的是，使用了很多。

它没有太多的文件。如果您想尝试编码但不想从头开始开发刮刀，这很好。在PLUS方面，它是一个免费的开源项目。

Visual Web Ripper

其中云爬虫在Notepad TXT文件中编码RAW HTML，Visual Web Ripper是Dreamweaver。这是一个非常用户友好的图形Web Ripper，允许您点对您要扫描的信息，并且该程序剩下的。

它有视频演示，它有一个花哨的网站和一切。然而，它确实有局限性。免费试用仅在网站上刮了最多100个元素，可以通过脚本和代码逐渐陷入困境。它也只需十五天即可使用。然而，非常昂贵。完整版本的程序许可 - 包括终身升级 - 是350美元。

python craigslist扫描刮刀

这是另一个开源代码刮刀，但它是一个更容易使用。与GitHub上的任何东西一样，它是在最容易学习的语言中编码的。它可能是最受欢迎的免费CL刮板。 https://www.youtube.com/watch?v\\u003d4o2eas2wqaq

在我看来，这是一个最有用，强大，合法的刮刀之一。它被账单为一个通用的网爬虫，所以你可以使用它超过craigslist。

它也很少有限，它很容易配置，它是免费的。真的，我刚刚挽救了最好的。关于Scrapy的最佳部分是文档。例如，如果要刮伤CRAIGSLIST，则可以遵循本教程，该教程是在特定区域的缩写非营利组织作业周围构建的。它可能看起来有点令人恐惧，但它真的不是那么糟糕。

相关的，为什么你需要用于SCAPACE的代理？

步骤2：尽可能使用代理

如何避免触发CAPTCHA CRAIGSLIST刮擦＆amp;

如何避免您的IP自动被阻止？

代理是一种解决方案。

他们识别刮刀的唯一方法是注意到相同的IP地址是在页面之后访问页面，非常快速地访问页面。 他们甚至无法判断该用户在做什么;它可以浏览，比如谷歌的c罗杰尔。我相信他们有谷歌白名单，但他们不会白发性胜利。 CraigsList将是，而不是看到一个IP连续访问一百页，看看20 DI FF erent IPS访问5页。这是一个更合理的数字，它不会让你受到限制。

采摘最佳的CRAIGSLIST代理，用于分类广告张贴＆amp;刮痧

• 当然，你需要找出如何通过代理筛选刮刀。 Scrapy有一些关于它的文件
• ，但这取决于您vet代码并将其与您的配置一起使用。

第3步：收获和沟通数据 一旦您的刮刀设置并准备收集数据，只需运行它并收集数据。机会是，它将输出到CSV文件中，可以在任何SP中打开readsheet程序，如Excel或Google Sheets。 通过数据进行数据并根据您的意愿执行此操作！我会谨慎警告你不符合公共商业用途。 克雷斯莱斯列表更有可能在你做之后发送C＆amp; D律师。个人使用是更安全的;他们可以做的最糟糕的是阻止你的IP，如果你正在使用代理，这无关紧要。 如何避免代理被禁止或阻塞 7在刮擦亚马逊产品结果之前了解的事情 使用Chrome无头和专用代理刮刮任何网站