请教什么方法能把amazon整站采集下来

early · 发表于 2014-12-24 17:39:25

什么方法能把amazon整站采集下来
火车头？
API接口这种怎么弄，

hudba · 发表于 2014-12-24 17:59:49

楼主这是传说中的伸手党吗？

djg2000 · 发表于 2014-12-24 19:30:51

楼主你这是要干什么呀

early · 发表于 2014-12-24 19:54:05

djg2000 发表于 2014-12-24 19:30

登录/注册后可看大图

楼主你这是要干什么呀

复制采集站。然后做垃圾站

xinyf88 · 发表于 2014-12-24 20:35:33

垃圾站现在还能做出效果出来吗？

leexiaochong · 发表于 2014-12-24 20:45:08

我能和楼主说amazon美国站的sku有两亿五千多万么

深蓝浅蓝 · 发表于 2014-12-24 23:27:49

野心略大啊。用上服务器集群不眠不休跑几个月说不定能成？

肥草 · 发表于 2014-12-25 01:34:00

LS正解
野心略大啊。

osun · 发表于 2014-12-25 10:05:01

2亿多商品，单URL地址就20多个G，压缩一下还有10个G，要是全采集回来会有多大呢，自己算吧

c21xdx · 发表于 2014-12-25 10:05:58

真是张口就来啊，全部采集。。。。。额

leexiaochong · 发表于 2014-12-25 10:42:25

楼主，我只能分享这些了，只是产品的URL和URL中的product name

gant · 发表于 2014-12-25 11:06:06

leexiaochong XD 是已经尝试过了吗.呵呵

lanmao1 · 发表于 2014-12-25 11:28:03

雄心壮志

ryan2101 · 发表于 2014-12-25 12:27:29

规模太大，要是做垃圾站还不如采集一个品类就做一个站

zhexuezhishen · 发表于 2014-12-25 12:36:57

得不偿失啊，还是老老实实做吧

leexiaochong · 发表于 2014-12-25 12:37:58

gant 发表于 2014-12-25 11:06

登录/注册后可看大图

leexiaochong XD 是已经尝试过了吗.呵呵

还没有,不知道能不能存储amazon product price

qwiuy · 发表于 2014-12-25 12:54:12

亚马逊astore，采集都省了

early · 发表于 2014-12-26 10:15:51

太给力的回贴了，采集一个品类可行，或是采集个几百万也是可行，全采集了是个大问题，由其@leexiaochong 回贴这个数据量太大了。

leexiaochong · 发表于 2014-12-26 17:21:43

early 发表于 2014-12-26 10:15

登录/注册后可看大图

太给力的回贴了，采集一个品类可行，或是采集个几百万也是可行，全采集了是个大问题，由其@leexiaochong 回 ...

我的想法是使用lucene进行索引，然后做一个amazon 价格跟踪的网站，但还不知道amazon允不允许存储产品价格。

熟能生巧哇 · 发表于 2015-1-1 01:29:16

leexiaochong 发表于 2014-12-26 17:21

登录/注册后可看大图

我的想法是使用lucene进行索引，然后做一个amazon 价格跟踪的网站，但还不知道amazon允不允许存储产品价 ...

lucene 是java的把？ PHP 用不了把？

		自动登录	找回密码
密码			免费注册