早期的网页爬虫是如何进行的?

[lx19930805]

现在多是通过"审查元素"获取网页的代码结构,然后正则获取想要的内容.然后再代码编写
那请问过去的爬虫是通过什么方法获取网页和想要的内容?毕竟没有 HTML 提供

[loading]

楼主去看看 织梦 cms 的采集功能。

[loading]

http://m.baidu.com/from=2001a/bd_page_type=1/ssid=0/uid=0/pu=usm%400%2Csz%401320_1003%2Cta%40iphone_2_5.1_1_10.8/baiduid=DF7CA29AC28DBEC89B9067FDD8F92CE4/w=0_10_%E7%BB%87%E6%A2%A6cms+%E9%87%87%E9%9B%86/t=iphone/l=3/tc?m=8&srd=1&dict=32&title=%25u7EC7%25u68A6CMS%25u5E2E%25u52A9%25u4E2D%25u5FC3_%25u5E2E%25u52A9%25u8BF4%25u660E%2F%25u91C7%25u96C6%25u5E2E%25u52A9&tch=124.0.0.0.0.0&src=http%3A%2F%2Fhelp.dedecms.com%2Fcollection%2F2011%2F0621%2F137.html