休息倒是可以，睡觉玩游戏逛帖子。发泄？觉得你不太适合这行

偏 ACG B 站，否 则熊猫

我给你分析一下这个问题:
首先网页是否修改，你有两种方式获知，一种是网页的在修改的时候主动发出一个通知告诉你，另一种是查询网页和历史纪录比较，得知是否修改。如果你是网页的拥有者，那么在网页修改的时候加一个触发机制通知你就行；如果你不是，那么就只有老老实实轮询。
如果你的需求是必须监控每一张网页的修改，那么就需要不断改善你的爬取性能，除了挨个爬取之外别无他法。
如果并不需要，那么你可以选择性轮询，对于修改频繁的网页，你查询频率调高一些，对于修改不频繁的网页，查询频率调低一些。可以写一个函数，用于评估网页修改是否频繁，然后以此分配爬取频率，争取最大化利用你有限的爬取资源。
对于网页是否修改，这个是你自己定义，哪种程度的内容改变算“修改”，需要你自己判断

你看到的是 url ，其实是 go get 下来的包，你去你自己机器的 gopath 路径下的 src 目录下看看就知道，官方不提倡相对路径式的引用，某些情况下会造成歧义，但是既然官方提供了，说明用也没什么问题
相对路径的当路径始终是 gopath 指向的路径，你可以在不同的目录下执行这段代码，来体会一下：
dir, err := filepath.Abs("./")
if err != nil {
fmt.Println(err)
}
fmt.Println(dir)

你不看看程序员天天写那些破代码，能找到女朋友吗

@Comdex http://www.liaoxuefeng.com/article/0014132675721847f569c3514034f099477472c73b5dee2000

64 位的机器会有这个问题吗？

不用是程序员，但希望了解程序员，有独立思考，如果能配合程序出项目就更好了

超长字符串索引并不会引发性能问题，结贴

@htfy96 是这样的，但是感觉结构体是会被复制的， byte* str 的值被复制，两个 byte* str 指向同一个 byte 序列
package main

import (
"fmt"
)

func main(){
s := "asdf"
f(s)
fmt.Printf("%p\n", &s)
}

func f(s string){
fmt.Printf("%p\n", &s)
}


输出的指针不一样

信息安全本身就是设计者的能力的一环，应该看作内功，而不是推给所谓安全部门来做这样的工作

只要整个社会信息化进程不停止，程序员就不会失业。
如果程序员失业了，那整个社会就不存在可以被信息化的地方了，全都自动化了，谁还在工作呢？
我觉得程序员是最后失业的工种

@omg21 转变下思路，如果确实有需要，不如联系下网站，看看能不能有偿提供你需要的东西

在要求登录的情况下，无论怎样，对方都可以统计单个 cookie 在单位时间内的访问量从而做出限制。所以，要么降低访问频率，要么获取足够多的 cookie

基础决定你能在技术道路上走多远，程序员的工作不只是，也不止是写写应用逻辑。怀疑科班出身的人的水平，首先自己先去体会体会科班出身的人到底学了些什么。那些科班出身基础差的人只是少数，大部分人四年都不是白过的

个人建议，经验来源于刚做完的毕设：
先说结果， 18min 能爬 3w 页面。
我是用 Java 写的， Apache HTTPClient 包做访问，封装爬取任务，投递到线程安全队列，单开一个线程作为消费者，不断将任务投递到线程池， 500 并发(已经吃满带宽，平稳状态消耗 1G 内存)，外网 500KB/s ，爬取到的 URL 存储在内网某 Redis 里做去重，实际的页面存储根据你的需求来定，建议汇总到内网某一服务器，比较方便。