闲来无事,一直想做些东西,开发了网页采集器在这里分享下

2014-06-16 00:17:26 +08:00
 foxidea
之前开发了 www.pan1000.com 现在正在改进中

资源是我最大的问题,所以开发了通用采集器

自己用着还算方便,现在先出一个版本

asp.net版:(.net 4.5) 需要IIS 运行环境等

https://github.com/me15000/WebSpider.git


winForm 版:(.net 4.5) exe 程序,依赖.net 4.0 以上

https://github.com/me15000/WebSpiderWin.git


在这里给一个 demo 地址 asp.net版

http://demo.spider.pan1000.com/.m/regs.aspx
8381 次点击
所在节点    分享创造
39 条回复
wuxqing
2014-06-16 19:46:56 +08:00
@foxidea
@Livid
骂人有意思吗?
我只是想说mono无法很好的兼容.net,拿mono说.net可以跨平台是有问题的
foxidea
2014-06-16 21:13:12 +08:00
@wuxqing

听你那语气就想骂你
wuxqing
2014-06-16 22:02:36 +08:00
@foxidea 没证实的事情乱说,说明你技术素养低。张口就骂人说明你道德素养低。
tamamaxox
2014-06-17 10:05:28 +08:00
来学习如何歪楼
hedaode
2014-06-17 10:30:17 +08:00
支持楼主。不管用什么语言,能做出一个产品并愿意分享出来,都是值得肯定的。
foxidea
2014-06-17 11:35:03 +08:00
@wuxqing

你不就想找个理由奚落我么?我对你这种人何必解释?

我了解你这种人居心何在,小人君子 人人都看得明白

骂的就是你这种小人
foxidea
2014-06-17 11:42:55 +08:00
@wuxqing

其实我只想告诉你,我并没有想怎么样,显得自己也没胸襟

你去看看你自己的评论,如果有人这样在现实中给你说话,你会叼他?
wuxqing
2014-06-17 20:08:57 +08:00
@foxidea
我的原话:
你先让你的.net 4.5代码在linux跑通了,再来说"mono 可以让让.net 程序在 linux 下运行 可能很多人不知道"

我没看出哪里是奚落你,更不知体现了啥居心。
现实中同事之间交流也经常说:你试过了?试过了再来说.....。这是做技术应该有的严谨态度

你觉得要怎么说,才不会被你骂神经病?
bcpo8
2014-06-18 01:31:45 +08:00
nice one!
foxidea
2014-06-20 09:09:48 +08:00
@wuxqing

13 年的时候,实验过 linux 下运行 asp.net
这里我转载了下
http://my.oschina.net/foxidea/blog/135103


你自己没看出来,那你继续以你的方式去问话,等被别人骂醒
wuxqing
2014-06-20 19:45:11 +08:00
这篇博客不能说明啥问题,mono我5、6年前就在用了(1.0、2.x都跟过好一阵子),玩玩或许可以,但是转大点的程序问题太多,更别说用于生产环境了。
你可以试试通过mono将mapwindow4跑到linux下试试

不要再@我了,我不想继续这个话题,你缺少谦虚的态度。
foxidea
2014-06-23 10:55:30 +08:00
@wuxqing

你不让我@你,干嘛在这里又说这些

你在5-6年前用过,那也只代表过去,你就是用过100年,那又说明得了什么

我承认我并没有深入使用过 mono,

但是我配置过mono 在linux 下运行 asp.net

当时配置了成型的网站在 linux 下运行,没出什么问题,就是按照那篇博客配置的


你问我 “你先让你的.net 4.5代码在linux跑通了,再来说"mono 可以让让.net 程序在 linux 下运行 可能很多人不知道"”

你目的何在,你就是想说明你对 mono 有研究?
我不配有发言权?
是你不谦虚,还是我?

你现在说mono 你在5-6年前用过,怎么怎么怎么乱七八糟,又是生成环境什么东西

我就是一个采集器而已,什么环境不可以??我干嘛那么认真把它搞成坚不可摧

我觉得一个项目,尽可能考虑实用性和是否解决问题,而语言平台工具都是次要的

能达到我的目的就行

你讨厌mono 也好,鄙视 .net 也罢

你不应该把自己的情绪发泄到我这里

顺便告诉你,你说第一句话的时候,我就知道的你后面要说什么了
wuxqing
2014-06-23 16:15:02 +08:00
我回复你,是因为你@我了
我一直都在和你讨论技术问题,你却不停用自己的想法瞎喷、瞎想
你有这个时间,试试mapwindow4在linux的运行,看看现在的mono是否已经成熟了。期待你用事实来说服我,还随便给开源做贡献了。
我不讨厌任何技术,也不鄙视.net,只是工具而已。
不像你,讨论个技术问题,不是骂人就是怀疑别人奚落你
foxidea
2014-06-23 16:51:44 +08:00
扯淡
forbe
2014-07-01 09:05:29 +08:00
用go吧,别争论了。这个spider (meijia0.com)只用了150行代码,编译后可以跨平台,满足了你们所说的代码量和跨平台的需求了。语言之争没结论呀。
forbe
2014-07-01 09:08:20 +08:00
说句公道话,.net从设计上来说,已经so oooold了,(python也很老,但是从编程体验上来说,它很好,没有老气横秋啦)换换脑子,接受go 或者 swift dart cust 看看把。如何?
oceantree
2016-08-10 14:53:54 +08:00
这个是我们团队开发的采集,欢迎看看 http://www.shenjianshou.cn/
oceantree
2016-08-10 14:54:21 +08:00
可以采集各种网站的数据,也可以用这个平台自己写爬虫~
oness
2017-12-04 11:04:40 +08:00
我也用 c#开发了一个网页数据采集器,爬山虎采集器 http://www.51pashanhu.com/
简单易学,通过智能算法+可视化界面,一键抓取数据

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/117690

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX