|
首先，谢谢很多技术宅、色友、码农以及走过路过的剁手党们对《技术宅用 “大数据” 玩转 ebay老镜头竞拍》的关注，已经集了超过200个赞，让小弟感激涕零  。不少看官都对数据采集和数据分析的方法感兴趣，为了回报广大看官的深情厚爱，技术宅决定挑战一下自己，尝试用最简单的工具，用最朴实的语言，解密EBAY的竞拍数据分析的思路 。同时附上一个可用的样例以及源码，希望在Ebay上竞拍各类物品的朋友，可以尝试着自己做一些数据分析。一、杀只鸡需要用牛刀么？——工具的选用 码农和技术大拿们可能会很失望，我这篇文章写的不是什么高大上爬虫、Oracle、Hadoop，那些企业级的工具对于我们一般的个人玩家而言，太遥远了。虽然那些高大上的东西，哥们都玩过，也没有故意贬低那些工具的意思，只是杀鸡无需用牛刀，而且牛刀未必好使。所以，隆重推出这次玩的工具：Excel（这不算作广告吧？盖茨哥要给我稿费哈！）  原因很简单，Excel几乎每个人的电脑里都有，就算你水果电脑上都能装Excel了，足够的平民化。上一篇经验分享也提到，其实Excel+vba+数据透视图可以做出很多好玩的东西，哥们喜欢玩Excel也是因为随处都能找到开发环境来调试、修改。二、竞拍的历史数据是怎么收集回来的？——逐步揭开秘密武器 还是举原来那个老镜头竞拍的例子吧，其实其他东东的竞拍数据分析也是类似的，可以举一反三。假设，我想竞拍康蔡（康泰时.蔡司 CONTAX ZEISS）的50mm焦距最大光圈1.4的老镜头，我会希望能收集近期这个镜头的成交数据来做分析。 1、用Ebay的搜索功能，找到历史成交信息  用浏览器打开ebay.com，如果你觉得英文难懂，直接用香港的ebay也行，地址ebay.com.hk 。但我这个例子是在ebay.com上完成的，香港ebay的网站结构不太一样，我后面的程序不能直接使用。凑合着先看看英文的吧！登录Ebay后，在搜索框输入关键词：contax zeiss 50 1.4，点击“Search”  你可以发现已经搜出一堆的康蔡50/1.4的镜头出来了。但是我们需要的是对历史数据进行分析，而不是现有正在售卖或者竞拍的产品，因此我们需要对搜索结果进行条件设置。  在左边导航栏的Format（类型）中选择“Aution”（竞拍），然后在“More Refinements”，点击打开后如上图，在“Show Only”选项卡中，把“Sold Listing”上打个勾。然后点击右下角的“Go”  出来的结果，基本上就是我们需要的一个清单了，也就是最近通过“竞拍”方式成交康蔡50/1.4数据。在上图的方框中，我们可以看到这个镜头的描述标题，成交金额（ebay.com已经帮我们折合成人民币了），成交时间。当然，我们还希望知道更多的信息，例如卖家是谁，运费是多少等等。Ebay也提供了一个比较好的功能，可以让我们设置这个清单上的内容。  在网页的接近右上角位置，可以找到个性化设置的入口“Customize...”然后进入设置界面。  如上图，我们把Shipping cost（运费），Item number（物品编码），Seller information（商家信息）都打上勾，Items pre page（每页显示的物品数量）直接选200。出来的结果，应该是我们预期的样子了吧？  2、来吧，数据自动跑到我这里来吧！ 到这里，你可能会想到Excel的作用了，你想一个一个去复试粘贴？还是说整个页面拷到Excel里面去？太棒了！你想的跟我一样！既然是网页类型的表格，肯定可以整到Excel里面去。但是炜哥要告诉你的是，你有没有想过，一次性复制容易做，但每隔一段时间都搞一次多累人啊！哥们不会这样害你的！来，打开Excel，跟着哥做一遍，你也许会有意外的收获。   首先，把这个地址复制下来，这就是我们要的数据来源了！  打开Excel，选择“数据--来自网站”  在弹开的“新建Web查询”界面中，把刚才复制来的地址粘贴上去，然后点击地址栏右侧的“转到”，如果你在下面的界面中，也能看到刚才一样的页面，以及数据项，恭喜你，成功了一半！如果你看到的清单数据项有丢失，例如没有了商家信息，尝试着在这个界面中登录ebay，或者用IE再登录和设置一下ebay的显示选项。确认没问题了，就发出“导入”指令（看右下角）！  顺利的话，应该会弹出上面的对话框让你选择导入信息的放置位置，你直接选左上角的单元格（$A$1）就行了。然后用你的小指头点一下“确定”  Excel的左下角可能会看到“正在运行后台查询”的字样，表示Excel在努力的干活中，它干的就是传说中“爬虫”干的活。它跑到那个地址上去，把东西拉扯下来，放到你的Excel里面。  随着屏幕一闪，Excel很高兴地告诉你：“主人，您要的东西，我帮你搬回来了！”确实，这不就是我要的东西么？起码不用自己逐个复制粘贴啊！用“数据导入”的方式，更大的好处是，如果有新的成交数据出来了，您只需要刷新一下这个数据源，新东西就会自动地跑到你的Excel里面来，省得您每隔几天要去复制粘贴一次，极大地提高生产效率啊！   刷新的功能在上面，有空就打开Excel刷一下，新东西自动抱回家，哈哈！  三、乾坤大挪移，让数据各就各位吧！ 虽然，用Excel可以导入网页数据，定时刷新自动采集也让我们小兴奋了一把，但毕竟这对东西没法直接拿来做分析的，还需要把这些东西弄个表格规整地放好。如果这些竞拍数据，能做成下面格式的表格，就好用多了！表格内容包括：竞拍结束时间、物品标题、卖家帐号、卖家信誉、物品编号、成交价格、出价次数、运费成本等。  如果要逐个镜头的数据复制粘贴过来，那跟直接在网页上复制粘贴没啥区别了。放心！技术宅绝不会如此坑人的。对于码农而言，只要是有规律的，就有偷懒的办法！于是，哥切换成“码农”模式，码了大概几百行字，实现了信息的自动抽取。也就是从刚才的网页里面搞来的数据，按照规律，自动填到上面设计的那张表格里面去。  篇尾会提供这个样本，大家下载回去之后，可以试试。因为这个样本文件时含有这些数据处理代码的Excel文件（叫做启用宏的工作表），因此打开文件的时候，Excel会问你“是否启用宏”，如果你要执行数据抽取的代码，你需要选择启用宏；如果你不放心炜哥写的宏，担心有什么病毒之类的，可以不启用宏，然后打开宏代码让其他码农高手鉴定一下。 好了，执行“自动抽取竞投信息”后，在Excel的“数据提取”工作表中，所有的竞拍数据，都齐刷刷地躺在那里了。这就是“码农，让世界变得更美好”的传说......   btw，“自动抽取竞投信息”，可以做到数据的增量更新。也就是说，你刷新一下数据源，把新的镜头成交数据拉下来后，再执行“自动抽取竞投信息”的指令，它会自动把已经有的信息过滤掉，只把新增加的成交数据抽出来。 四、运筹帷幄之中，决胜千里之外——EBAY竞投数据分析 巧妇难为无米之炊，现在有米下锅，剩下的事，就好做多了！数据分析的维度，跟你的思路相关，这里只是举两个例子，写太多就变成Excel教程了。例如，我想知道这30多笔的交易里面，成交价格的分布情况如何？这可能有助于我决策竞投的策略！  如上图，在Excel中，选择“插入--数据透视表”，在弹开的“创建数据透视表”对话框中，直接点“确定”吧。  然后分别把“物品编号”拖到“值”的区域，把“成交价格”拖到“行”的区域。左侧就出现了每个成交价格的统计结果。当然，这还不是我们想要的，我们希望看到的是价格区间的统计分析。  用鼠标右键去点“创建组”，然后输入“组合条件”，如下图。  直接看结果：  嘿嘿，终于像是我们要的东西了吧？历史成交价格的区间分析！再搞个图形化展示一下.....  点击数据透视表的区域，在“插入”中选择“二维柱形图”  搞定！数据统计结果就是这样出来的。难么？其实并没有太高深的东西，无论你是糕帅富还是屌丝宅，只要会用Excel，都能做出一个很好的数据统计结果。当然，下一步就是数据分析了，也就是解读这些数据，这才能真正对你的竞标决策起到价值性的参考。例如1500~2100这个价值区间，应该就是这只镜头的合理价格区间，但为什么有些成交金额会低至1000元以下？为什么有些会高达2400以上？如果你是一个竞投者，你需要更多的东西去支撑你的决策。  还能做什么？上一篇经验中提及的东西，其实都可以做，关键在于你的想象力而已。但我只能帮到这个份上了！ 又到了总结时间： 1、在Ebay竞拍中，如果你对一类商品的历史成交情况有更多的了解，必定会对你在出价时有更多的价值评估参考，这也是写这篇经验分享的初衷。 2、如果只是个人行为玩玩的话，不建议用太专业化或者企业级的软件，这也是我拿Excel给大家做个示范的出发点。我用过一些专业软件来尝试做这些分析工作，收集过EBAY半年内所有二手镜头的拍卖数据，大概有十几万条，可以做更大范围的数据统计分析，例如，看看哪些镜头是热卖的。但无论用小刀，还是大刀，原理上是一样的。 3、摄影是我的业余爱好，所以拍得不专业；同样，写代码也是我的业余爱好而已，所以范例中的Excel VBA代码仅仅是求目的，不求高深算法或者追求效率的东西。在各位专业码农眼中，那几行代码绝对是垃圾代码，没有面向对象，没有用正则表达式.....对于非专业人士而言，请专业码农口下留情，可以小声吐槽，切勿大声声讨。  4、Excel样本地址如下：点此下载，因为含有宏代码，也请各位专业码农给予鉴定结果，如果代码是无毒无副作用的，请在文章后面留个言，以资鉴定。 5、给出的只是一个思路和方法，衍生出的应用可以更具想象力，无论你是在EBAY上竞拍老镜头？还是竞拍数码产品？甚至是用在其他网站的数据收集和分析上，思路都是类似的。欢迎各位拍砖和分享新的Idea。 6、有看官说，这不符合张大妈剁手基本原则啊！其实，玩老镜头也好，玩竞拍也好，都是会中毒D  ，后患无穷，剁手效应至少延续一年以上，直到解毒为止......最后，能坚持看完的，请给自己32个赞，顺便赏咱一个赞哈！  (责任编辑：admin) |