每一行php代码都是自己敲出来的购物比价站，jiabibi.com

[laoyuan]

http://www.jiabibi.com 购物价必比！
　
包括爬虫，包括极其山寨的mysql全文检索、品牌识别商品归并算法，全部一行一行敲出来！不知对象为何物，没写过类，只会写函数！！刚入门的时候架apache架了三个晚上才成功，没有任何人指点，所以，just do it， 你也可以！
　
呵呵，放一个还没公开的页面：
http://www.jiabibi.com/jianlou/
暂是我不打算做用户系统，说白了我不打算在用户黏度上下多少功夫，只要能提供有价值的服务，用户买东西之前能想起来上这网站来看一眼，就足够了！

这个网站已经废了。。

[talentsnail]

同样没有基础的孩子也在巧代码，不过执行力比你差多了，好多简单的功能各种拖延，还在进行中。

[lusin]

请问什么写的呢，做到这个程度（包括数据收集）用了大概多长时间

[lusin]

@lusin 糊涂了，是PHP全部一行 一行敲的

请问下数据收集用什么配置一天大概能完成多少呢

[n00b1]

没基础在敲的算我一个，赞lz执行力

[anyforever]

做的不错。

[laoyuan]

@lusin
就是家里的开发机，10M家用光纤。也是php写的，不会多线程就多开几个页面一起跑，初始数据收集一家商城差不多四五天吧，现在可以保证48小时内全部价格更新一次。

[Bob]

你这个没有采集淘宝商城的吧 会写函数不错哇 写出来的代码我都看不懂 面壁去了

[lusin]

@laoyuan 挺好的，建议楼主数据慢慢往出放，一下子放百万级的数据出来搜索引擎应该是接受不了的

[laoyuan]

数据收集不用什么配置，如果不保存数据直接 update 到线上的话，树莓派也搞得掂！

[n00b1]

lz非攻城狮吗？不知道你的爬虫咋学的呢？有分享下学习经验吗？感谢～

[laoyuan]

@Bob
淘宝商城那么多东西怎么采得过来啊！！

爬虫就是Curl，纯山寨货！

[manoon]

谢谢lz给我们这些有拖延症的人带来了动力

[thedevil7]

没人吐槽这个域名么... jia BIBI

[liliang13]

@thedevil7

大家都不邪恶，我们也不要邪恶了 _-_

[iTea]

楼主真乃神人也!~

[liuxurong]

标题是.... 土炮练成记?

不过这种执行力强的人不敢小看，1年后或许就会成高手

[xiongbo]

向楼主致敬

[laoyuan]

绝对土炮，到现在没见过正式的 PHPer 编的 PHP 是啥样子-_-!!
我早期写的全是用空格来缩进的，一次用两个，现在用tab，不过我也不知道应该用哪种！

[cougar]

赞楼主。。。

[tedd]

楼主有博客记录历程啥的吗？一定很精彩

[lusin]

另外想请教一下同一商品在不同的网站通过什么去匹配呢？

比如http://www.jiabibi.com/product/1000700196/，同一个洗衣机，但在不同的商城可能货号不一样，标题也不一样，通过什么确定获取到的信息是同一商品呢？

[laoyuan]

没有博客，很久以前写过，感觉越写越装B！

商品的归并有一定的算法，最后人工审核，不可能完全靠程序完成匹配，否则尼玛成人工智能了。这个工作每天都在进行，因为人工审核的速度有限。

[cooiky]

每天自动发文章？这个是怎么手工发的？
看了下价格历史数据，好像去去年十一开始的？

[laoyuan]

文章当然是人工发的。

感觉有黑客光顾。。。刚才我登FTP，结果提示我人多登不上，我ftp最多在线人数设的3人。。。

[lusin]

@laoyuan 网上找到这方面的资料比较少，可以请教下算法的大概思路吗？（或者楼主是从什么途径学习的呢？）

还以这个http://www.jiabibi.com/product/1000700196/链接中产品为例，“Midea美的面包机EHS15AP-PW(电脑版/15分钟断电记忆/13小时精准预约/您身边的面点专家)"标题这么长，主要关键字就是：美的、EHS15AP-PW这两个，如何去匹配呢？

[laoyuan]

这个主要靠经验，说成算法相当有装B嫌疑。我并不赁于分享这些经验，因为只要你做，做进去，一定也可以解决。
首先识别品牌，这些电商中三分之二的商品本身就有品牌这项结构化数据，利用这些数据可以构建一个品牌库，剩下三分之一没有品牌的，标题从品牌库里过一遍，strpos()，看品牌是否存在于标题中，如果只匹配到一个品牌，那就是它了，两个以上人工选一下。
确定品牌后就轻松了，美的商品数在所有品牌中排前50，总共也就区区五六百款，把京东的作为标准，亚马逊易购之流通通在京东里过一遍。这时候可以匹配型号，连续的字母数字-/用 preg_match_all 提出来（EHS15AP-PW），具有独特性？好，它就是型号，和京东有型号的比对下，型号一致价钱又差不多的那就是同一款。提不出型号的，最起码我能提出来品种，几千个标题统计下词频，从高到低列出来人工筛选下，剔掉系列、不锈钢、电脑版等描述词，剩下的就是电磁炉、热水器、豆浆机。。。手上又有了品种库。确定品种后更轻松了，一个品种顶多几十款，想怎么玩怎么玩~

[gjk1992]

看过我之前的帖子么，我也研究比价算法，求交流合作，大三学生

[sohoer]

www.shishibi.com 时时比 实时比，我打算每小时更新

装B一下

[laoyuan]

@sohoer 打算做浏览器插件？还木上线？

[sohoer]

才刚刚解决抓取，慢慢来，不过我是JAVA平台，有很多第三方库，不需要什么都自己造应该会快很多

你48小时更新一次没竞争力啊，现在有很多比价的一般一天也会更新几次

[laoyuan]

嗯嗯，加网线~~

[laoyuan]

搞JAVA的，NLP么？洋枪对土炮，燃！战！

[gjk1992]

@laoyuan 加QQ 188869727 想交流下 我大三学生，想学习下

[zsdsz]

@lusin 最简单的方法 用广告联盟的开放平台 一堆数据给你用

[laoyuan]

LS，这是在中国。。。。

[zsdsz]

@laoyuan 亿起发 和59秒有 你看看

[gjk1992]

@zsdsz 那个就是普通的搜索，没有比价功能。更没有价格变化趋势

[cooiky]

价格那个图片识别是用的什么库？

[laoyuan]

我相信没有任何一个做比价的网站是从图片识别价格的。

[lala]

刚开始能做到这程度已经是非常的impressive了，这个idea是可以赚钱的，而且有相当的可能性。。。。

[chemhack]

@laoyuan 那价格从哪来的啊

[shiny]

@laoyuan 可以透露下价格从哪来吗…… 难道是从etao来的……

[laoyuan]

当然是一手数据，直接从电商网站取啊

[lusin]

@laoyuan 你好，还想请教个问题

爬虫采集过程中断后，如何标记，以便下次采集呢？（来源方的内容可能是动态的）

[laoyuan]

实在不行就从头开始呗。。。对于动态列表性质的我一般把列表页html保存到本地，然后5天或10天更新一次，当然这东西不存也无所谓，就在数据库里建个表呗，抓过的把时间update一下。

[shiny]

非常感谢 @laoyuan 的分享。
另外京东价格的获取，想了下，写了个简单的python版本演示，分享给：
@cooiky
@chemhack

http://gist.github.com/4584041

[laoyuan]

LS上硬货了，虽然我不是用这种方法，不过条条大路通罗马~

[laoyuan]

再次出现ftp连接满的情况（限3连接），查了下日志，原来不是黑客，有机器对21端口暴破而已，同时3个线程验证密码，就给占满了，换个端口立刻清静~

[firsthym]

把你的比价网站放到了我的电商搜索里面(最后一个标签“比价网站”)： http://cse.so/q/50fe555617f923f8c3000017/Nexus

希望保持更新～加油！

[laoyuan]

@firsthym 保持更新请放心，绝对有信心~~

[reverland]

赞楼主，写什么类，楼主那是用php函数式编程

[bigdude]

赞楼主的执行力，比价这个idea我也有，自己也敲敲打打研究了不少了，可是成品还没有，都不想为自己的懒惰开脱了。看看楼主，真是惭愧

[wheatcc]

楼主，缺书网也是你的么？

[laoyuan]

@wheatcuican 多明显啊，看我ID就知道了，现在主要就是做缺书网，感觉做百货比价还需要酝酿酝酿，有计划的推进，现在缺书网是想到啥做啥

[wheatcc]

@laoyuan 缺书网蛮好的，挺实用。有一个小建议：可以定期推荐一本书。