如何从eBay获取产品数据

你正在寻找最好的web scraper来使用从eBay抓取产品列表和数据?然后现在进来，发现你可以在市场上使用的最好的eBay scraper现在并学习如何报废eBay。

eBay仅占美国电子商务市场的一小部分，但仍是仅次于亚马逊(Amazon)和沃尔玛(Walmart)的第三大电子商务市场。我告诉你;在这个电子商务平台上，有超过10亿的商品和他们每年的销售额，不可否认，你可以在eBay平台上使用令人难以置信的数据。这一点可以从有兴趣从eBay提取数据的人数中看出。说实话，与亚马逊相比，无可否认eBay远远落后，但作为一个对产品数据感兴趣的营销人员，你不能忽视eBay上巨大的产品数据。

eBay并没有提供无限的方法来访问其平台上的公开数据。另外，您会同意我的观点，即从成百上千的产品中手动提取数据不是一件容易的任务，而且会花费大量时间——还会引入错误。然而，随着eBay scraper的使用，这是一种为自动从eBay提取数据的过程而编写的计算机程序。它从平台上提取公开数据的速度是人类无法做到的，而且效率很高，这使得市场营销人员和商业研究人员能够更快地访问所需的产品数据。

eBay搜寻-概述

我希望您能想到，抓取网络公开数据不是非法的-至少根据美国法院的说法，在抓取其公开数据之前，您不需要网站的许可。Haven表示，您还需要知道，没有任何一个合理的网站会允许其网站上的一系列漫游器抓取其内容-并可能使请求被服务器淹没。eBay一直是不允许您通过自动方式访问其网站的网站之一。涉及eBay和网络抓取工具的案件很多，虽然它赢得了一些诉讼，但损失了一些。

在你自己的情况下，你很可能不会在他们的雷达上，当然，除非你试图获取平台的大数据。通过正确地使用防爬取系统规避技术和爬取数据的道德规范，如友好和设置请求之间的延迟，您将不被注意地爬取数据，而不会对服务器造成任何问题。

这需要适当的计划和正确的执行，尤其是当您需要以合理的比例进行爬取时。如果您使用的是现成的工具进行抓取，请确保其配置正确。对于那些想从头开始创建自己的eBay刮板的人，下面的简短教程将向您展示如何使用Python创建自己的抓取器。

如何使用Python，请求和Beautifulsoup抓取eBay

在eBay上，网络抓取器感兴趣的数据是单个产品的产品详细信息或一组产品的列表。一些企业使用网络抓取来保持标签并监视其感兴趣的产品的价格，而其他一些企业则只是抓取所需的数据而永不退货。

无论您属于哪个小组，您都可能会注意到，刮刮eBay会很困难。这是因为它具有简单的界面，并且没有使用AJAX，它会妨碍您的工作并且使抓取变得困难。这仅意味着下载和解析页面很容易。但是由于检查到位，访问它可能很困难。

为了使您能够以合理的规模抓取，使用代理是不可协商的。不使用代理，您一定会被检测到被迫解决验证码的问题，然后再经过几次请求后便被阻止。代理将帮助您逃避IP跟踪，并使系统误认为您的请求来自其他计算机。

还需要设置标头值（例如User-Agent），并确保您模仿流行的浏览器以避免怀疑。考虑到这些，让我们开始创建一个简单的eBay网络抓取器，该网络抓取器搜索查询作为参数并刮掉首页上列出的产品数据没什么特别的，只是向您展示它是如何完成的。

Python编程语言将用于构建刮板。Requests库将用于发送Web请求并以HTML字符串的形式返回响应。Beautifulsoup将用于提取所需数据，这是搜索首页上每个产品的详细信息。

import requests
from bs4 import BeautifulSoup

def add_plus(keywords):
    keywords = keywords.split()
    keyword_edited = ""
    for i in keywords:
        keyword_edited += i + "+"
    keyword_edited = keyword_edited[:-1]
    return keyword_edited

class EbayScraper:

    def __init__(self, keyword):
        self.keyword = keyword
        plusified_keyword = add_plus(keyword)
        self.products = []
        self.search_url = "https://www.ebay.com/sch/i.html?_nkw=" + plusified_keyword

    def scrape_products(self):
        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 
(KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'}
        content = requests.get(self.search_url, headers=headers).text
        soup = BeautifulSoup(content, "html.parser")
        product_list = []
        products = soup.find("ul", {"class": "srp-results srp-list 
clearfix"}).find_all("li", {"class": "s-item    s-item--watch-at-corner"})
        for product in products:
            div = product.find("div", {"class": "s-item__info clearfix"})
            name = div.find_all("a")[0].text
            price = div.find('span', {"class": "s-item__price"}).text
            product_list.append({
                "name": name,
                "price": price
            })
        return product_list

x = EbayScraper("hisense tv")
x.scrape_products()

阅读更多，

• 如何从亚马逊提取产品Asin数据
• 如何使用Python抓取Yelp数据

最佳eBay最佳抓取器

eBay不会对市场上许多现有的通用刮板机造成独特的问题，因此，许多刮板实际上可以刮板。但是，仍然有一些专门的eBay刮板。以下是经过测试并证明能很好工作的通用和eBay专用网络刮板的组合。

Octoparse

• 定价：每月75美元起
• 免费试用：有限制的14天免费试用
• 数据输出格式： CSV，Excel，JSON，MySQL，SQLServer
• 支持的平台：云，桌面

Octoparse使每个人都可以轻松进行网络抓取。使用此Web抓取工具，只需单击几下鼠标，即可将网页转换为结构化的电子表格。它支持从eBay提取数据。Octoparse带有一些高级的Web抓取功能，可帮助它甚至对最高级和最严格的网站也进行抓取。Octoparse既是桌面应用程序又是基于云的平台。对于eBay，您可以使用它们提供的模板。您甚至可以在注册时享受14天的免费试用期-做出金钱承诺后可以解锁一些限制。

Helium Scraper

• 定价：一张用户许可证起价为99美元
• 免费试用：功能齐全的10天免费试用
• 数据输出格式： CSV，Excel，XML，JSON，SQLite
• 支持平台：台式机

Helium Scraper是一种通用的Web网络抓取工具，可用于爬取要从eBay等电子商务网站提取数据的任何网站。Helium Scraper具有许多功能，使其非常适合大规模刮擦eBay。它支持SQLite，可用于存储多达140 TB的数据。它非常适合处理文本，并带有类似元素检测系统，可检测相似元素。

Helium Scraper是一种视觉爬取工具，不需要您具有编码技能。Helium Scraper易于使用归功于其直观的点击界面。

阅读更多，最佳的Web爬网软件以提取数据（桌面应用程序）

ParseHub

• 定价：每月149美元起
• 免费试用：桌面版免费，但有一些限制
• 数据输出格式： Excel，JSON
• 支持平台： 云，桌面

如果您没有预算，但仍想在eBay上抓取eBay产品列表和其他可公开获得的数据，则ParseHub是首选的网络抓取工具。你知道为什么？ParseHub桌面应用程序可免费使用，但有一些限制，可能不会成为问题。

您需要设置代理，然后scraper将为您处理IP旋转-不过，最好使用旋转代理。ParseHub还利用点击界面进行数据点训练。ParseHub易于使用，同时强大而灵活。您可以将其设置为计划的抓取。

Proxycrawl Ebay Scraper

• 定价： 50,000积分的月费为29美元起
• 免费试用：前1000个请求
• 数据输出格式： JSON
• 支持的平台：基于云–通过API访问

Proxycrawl Ebay Scraper是一种抓取API，用于抓取产品详细信息，例如名称，标题，价格，描述，可用性以及其他与产品相关的信息。您也可以使用它从eBay搜索中获取结构化的SERP详细信息。使用Proxycrawl Ebay Scraper，就算是抓取API，您也不必担心处理块和验证码。您甚至可以尝试刮板的实时演示，并确保它返回了预期的数据。由于它作为API起作用，因此您所要做的就是发送一个宁静的API请求，并返回一个包含所需数据的JSON。

ScrapeStorm

• 定价：每月49.99美元起
• 免费试用：入门计划是免费的-有限制
• 数据输出格式： TXT，CSV，Excel，JSON，MySQL，Google表格等。
• 支持的平台：台式机

ScrapeStorm是基于人工智能的Web抓取工具，可用于从eBay抓取产品数据。与大多数Web抓取工具不同，ScrapeStorm不需要您在eBay等某些特定的流行网站上进行培训– 它使用基于AI的系统自动检测功能，因此易于使用。ScrapeStorm由前Google搜寻器团队开发。在数据导出方面，ScrapeStorm提供了多个选项，您甚至可以从云中访问它。

结论

上面的列表并不详尽；您还可以使用更多的网络抓取工具来抓取eBay产品列表和其他产品详细信息。但是，如果您正在寻找的不仅是一个易用的eBay刮板，而且功能强大，易于使用并且具有一些高级功能，那么上述任何eBay刮板都应该为您工作。