V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  yankebupt  ›  全部回复第 48 页 / 共 61 页
回复总数  1213
1 ... 44  45  46  47  48  49  50  51  52  53 ... 61  
@Loyalsoldier 但是 ip 可以 hash 的...
不懂 hash 会加速的道理也没关系,这么解释一下,假设你为 0.0.x.x-255.255.x.x 的 ip 建 65536 张表,则每张表最多也就是 65536 个记录(实际每个记录都会很少会更快,因为需要访问一次才有记录)。只查对应的表只需遍历很少的记录....

不过我愈发觉得楼主可能是在钓鱼...专门钓我们这种不懂 memcached/LRU 的...
不要误解我。我是说大多数情况下技术人员会根据热度,分不同的使用用户,高频用户给一个很小的高速查询库,响应极其迅速,查不到再查之外的逐步扩大。但是涉及你这种情况如果这样做实际上是违背网络公平性的,会加大非高频用户的延迟,加之我 redis 基本没碰过,所以完全不能给出有效建议,请见谅。
我觉得楼主如果之后回帖:
我发现一个好方法,把库分成两部分,一部分存国内 ip 和 url,一部分存国外 ip 和 url...根据访问热度和管理要求实现不同查询性能......实现 90%以上的满意度...
的话
我会后悔在这个主题回帖的.....

所以楼主,稍微详细一点说明你的实际使用情况?
还有为什么就选定 redis 了
总有股维和感,我总觉得楼主的意思是不是反过来,是不是想根据 url 记录如果没有随机返回一个 ip 并绑定。
为什么要遍历?由于 ip 地址特性 int32(ipv4)可以加速不用遍历的。
一提到这个就想起最近的动态路由屏蔽表...估计规则数也比你那个不少...那个是真的大访问量...我一直在想那个是怎么跑起来的...有可能是特殊硬件吧?...
我看到第一个回复查询 20W 次,还以为 20W+访问量.....
2017-09-30 13:25:39 +08:00
回复了 zhjits 创建的主题 全球工单系统 腾讯 iOS 软件的安全模型,大家看了来笑一下
@skylancer 看了一下,还真是。本来以为虽然获取不到 sim 卡手机号码但是能记录唯一 ID 之类的标识符确定是否更换过,后来发现 apple 特意没有给这个权限而且相关权限 app 从严审核的.....
2017-09-29 22:19:02 +08:00
回复了 zhjits 创建的主题 全球工单系统 腾讯 iOS 软件的安全模型,大家看了来笑一下
比较关心微信的那个测试带不带 sim 卡...
虽然 QQ 现在也绑手机号了,但是微信不是手机号强绑定么...
会不会备份里记录了关于 sim 卡的什么信息...
2017-09-25 19:48:47 +08:00
回复了 K1W1 创建的主题 Python 讨论一个关闭爬虫的脑洞问题
@K1W1
目前只用多个账号都不行,得多个账号配合多地点 ISP 接入+定位配合多设备串号...
我 ios 装过一次闲鱼,卸载清空都不行,重装换 appleid 之后原来的推荐不消除...
2017-09-25 16:35:59 +08:00
回复了 K1W1 创建的主题 Python 讨论一个关闭爬虫的脑洞问题
参考目前闲鱼的防抓取:
---
* 不登录只循环显示少量资料
* 电脑端不登录,通过首页链接点击进入物品详情时限制物品类别数目,超出物品类别强制登陆否则不予显示
* 根据个人搜索记录强推个性化内容,每个人个性化内容不同无法查看全部资料,除非使用大量关键字搜索
* 对于大量关键字盲目搜索超标的,判定为抓取者,返回第一条,默认循环显示不登陆时显示的少量资料
---
感觉很独裁,但是没辙,除了芝麻信用基本没什么能用可信任的第三方征信平台。
---
我不知道要有什么样的技术突破才能避免以后做大了的服务都逐渐参考这种模式。简直反乌托邦
2017-09-25 11:59:43 +08:00
回复了 ZiLong 创建的主题 Java 四行代码的 Java Puzzle----老司机快来刷题解惑
猜测有可能是因为"java"因为常用所以池中已有,append 出来的那个并不是第一个生成的所以 intern 不能指向自身...
据说不是纯引号的 literal 字符串用==会比较 reference 而不是 intern 的值,要比较值需要用.equals....
是这样么.
@yksoft1 没有资质强行验境外人员身份的例子也不是没有。比如 paypal...不过误伤了多少大家心里估计都有数...
@yksoft1 嗯,然而我认为他们的目的并不是真的实名制,而是象征性震慑一下,让凑热闹掺和非实名的人员变少,然后剩下集中一下警力就够对付真正有威胁的少数个体了。
1 ... 44  45  46  47  48  49  50  51  52  53 ... 61  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2438 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 30ms · UTC 03:10 · PVG 11:10 · LAX 20:10 · JFK 23:10
Developed with CodeLauncher
♥ Do have faith in what you're doing.