首页 > 新闻中心 > 行业动态
新闻动态

电商爬虫机器人大战:防止被刺探情报 亚马逊是行家

作者:体育外围 发布日期:2020-09-04 浏览次数:17311

体育外围官网:导语:路透社今天撰文称之为,在与输掉竞争的过程中,亚马逊在爬虫机器人领域的领先地位虽然鲜为人知,但却对它的发展起着了最重要起到。以下为文章全文:今年早些时候,负责管理跟踪输掉电商售价的沃尔玛工程师大吃一惊:他们用来每天扫瞄亚马逊网站的技术忽然失灵了。这可不是小事。与多数零售巨头一样,沃尔玛也要依赖计算机程序扫瞄输掉网站的价格,从而进行适当的调整。

即便只有50美分的差价也有可能造成销量损毁。但亚马逊却利用新策略屏蔽了这些机器人程序,令其沃尔玛措手不及。知情人士回应,沃尔玛技术部门用了好几个星期都无法跨过封锁,因而被迫通过二手渠道提供亚马逊的数据。

这件之前并未被曝光的事情让外界以求一窥亚马逊如何凭借技术获得零售市场的主导地位。身兼全球仅次于网络零售商的亚马逊最为人所知的就是较慢的仓储和齐全的商品,而且获取自制剧等诸多视频内容。但该公司的后台技术某种程度在它的顺利中扮演着了最重要角色。

对网络机器人的灵活运用不仅可以让亚马逊充份理解输掉的动向,还能在自己调价时把输掉蒙在鼓里。“参照亚马逊不会更加艰难。

体育外围

”加州零售定价软件开发商Boomerang Commerce CEO、亚马逊前经理古鲁·哈里哈兰(Guru Hariharan)说道。沃尔玛发言人拒绝接受辩论今年1月再次发生的这件事情,但他回应,该公司仍然在定期改良技术,而且有多款跟踪工具。

他回应,该公司的价值不仅来自价格,还来自店内奈何优惠等其他福利。亚马逊发言人称之为,该公司告诉竞争对手用于机器人追踪器定价,但坚称采取任何措施来阻扰输掉。“我们管理网站机器人的方式最近没任何变化。”她说道。

由于机器人不会减少网站的网页速度,所以零售商都期望制止这类程序采访自己的网站。路透社对21名熟知机器人及其部署方式的人展开了专访,还包括前任和现任沃尔玛员工、亚马逊前员工以及外部专家。

但由于未予许可,所以很多人都拒绝电子邮件。多数人都认为,亚马逊在方兴未艾的网络机器人大战中正处于领导地位。

体育外围-外围体育平台-官网

亚马逊在方兴未艾的网络机器人大战中正处于领导地位。该公司的技术优势有助提高利润率,而且对投资者也很有益处。

自从2009年3月触底以来,该股早已下跌大约15倍,而同期的标准普尔500指数涨幅仅有为3倍。亚马逊2015年的销售额超过1000亿美元——该公司称之为,他们超过这一基准的速度多达历史上任何一家公司。美丽新世界自从亚马逊10多年前协助扩展这一模式以来,机器人驱动的定价给整个零售行业带给了极大的变革。

以往,零售店最多每周调价一次,因为替换标签的成本和时间成本都很高。而在电子商务世界,零售商却可以随便调价,有时候甚至超过每天数次,这都归功于综合考虑到了库存、销量预测和输掉定价数据等各种算法。为了维持竞争力,在线批发商Boxed等企业使用还包括机器人在内的许多方法保证其调价速度与输掉之间维持在20分钟之内。

“这就看起来持续一生的圣诞节。如果我们的定价不适合,销量完全不会马上下降。”Boxed CEO Chieh Huang说道,他的公司专门销售大包装卫生纸和宠物食品。伪装成人类用于机器人查阅公开发表网站上的大量数据被称作爬取,背后的目的多种多样。

例如,谷歌不会大大爬取网站内容,以便发展搜索引擎或销售广告。而在电子商务行业,用于机器人则沦为了一场“猫抓老鼠”游戏。

企业一方面期望制止竞争对手爬取自己的网站,另一方面又想要渗入输掉的网站。于是,专门获取这种服务的第三方服务陆续兴起。为了防止输掉提供自己的数据,有的零售商用于了CAPTCHA技术,对文字和数字展开歪曲,虽然人类仍然可以读者,但机器人却无法准确辨识。

亚马逊未采行这种措施,因为此举会令部分客户深感沮丧。对于期望跨过这些封锁措施的企业来说,如何将自己的电脑程序伪装成人类是关键所在。

有的定价技术专家不会研发在网页上移动的计算机光标,仿真人类采访网页的过程,而仍然必要射击有价值的数据。还有一种用于多个计算机地址的技术,可以防止零售商将大量页面追溯到完全相同的来源。“这是一场军备竞赛。

”爱尔兰Profitero高级电子商务分析副总裁基斯·安德森(Keith Anderson)说道,“攻守双方每个星期或每个月都会研发新技术。”亚马逊今年1月打压沃尔玛时射击了取名为PhantomJS的专用网络浏览器。与IE有所不同,这种浏览器是专门程序员设计的——这指出用户并非普通购物者。知情人士回应,亚马逊设计了一个数字幕布,对PhantomJS隐蔽了列表。

由于此举并非针对亚马逊,所以目前还不确切其他公司因此受到的影响。路透社最近几周展开的测试表明,在美国大型零售商中,亚马逊的机器人观测技术尤为先进设备。

这些测试不仅仅限于主页,还包括调价最频密的两款产品。此次测试由路透社委托旧金山Distil Network公司展开,这是一家专门销售反机器人工具的公司。

体育外围

在其中一项测试中,Distil研发的机器人对每家零售商的网站扫瞄3000次,但特地摆放了速度,以仿真人类的页面过程。此举看穿了多数零售商,但却未看穿亚马逊。被屏蔽的机器人无法看见亚马逊上出售的De"Longhi咖啡机的价格。

而根据定价跟踪网站camelcamelcamel.com的数据,仅有在在4月25日当天,这款产品就在亚马逊网站上调价4次,从80.06美元下跌到88.16美元,涨价幅度多达10%。机器人侵袭尽管亚马逊享有领先的技术,但爬取该网站的机器人数量还是令人震惊。知情人士回应,其产品列表上最少有80%的页面都来自机器人,而大型网站的这一比例约只有三分之一。

除了搜集定价数据的输掉外,有的流量还来自科研院所,他们的目的是研究竞争、搜索引擎、广告服务,甚至还有的是期望侵略亚马逊帐号的犯罪分子。沃尔玛前员工回应,该公司的自动化定价战略由一个坐落于硅谷的小团队负责管理,还有来自印度及世界各地的数十名工程师负责管理处置代码。

另有知情人士回应,截至几年前,亚马逊大约有40名工程师负责管理萃取和整理输掉的数据。但亚马逊未透露自家爬虫机器人团队的的组织结构。美国专利申请资料表明,亚马逊正在研发一项加密技术,可以被迫机器人解决问题简单的算法才能采访其网页。

但人类访问者会不受此影响。“亚马逊既有能力观测机器人流量,也可以采行适当的手段。”斯科特·雅各布森(Scott Jacobson)说道,他曾多次兼任亚马逊经理,目前在Madrona Venture Group兼任总经理。

“多数零售商都不具备这种能力。【体育外围官网】。

本文来源:体育外围-www.alanstaff.com