爬虫在 winxp 上弄一个 adsl vps 拨号器 其中 ip 的端口咋弄????,跟着 squid 设置端口,不行

2019-06-18 17:23:27 +08:00
 z1421012325
本人学习爬虫到需要一定大量 ip 找到一个轮子 https://github.com/z1421012325/AutoProxy


http://i2.tiimg.com/691087/3c0c93d4b01b0717.png
http://i2.tiimg.com/691087/023a91be1a9eb0dd.png

我买了一台 xp 的 adsl 拨号器,搞了个拨号软件每隔 20 秒拨一次号,再用 python 不断循环发送给第二台含有 flask 的固定服务器,发现只有 host 发过来了,port 端口没有,有仔细阅读说端口需要额外设置
http://i2.tiimg.com/691087/afb8ea950f4f907d.png
--------------------------------------------------------------------------------
"注意默认是 8888,你需要用 Squid 或者 TinyProxy 配置下代理,端口是 8888,这里端口 8888 即默认的拨号 VPS 的代理端口,这里配置下保证输出结果自动拼接端口。"

--------------------------------------------------------------------------------
xp 上貌似只能用 squid2.6 版本的,也在网上找了一些教程跟着设置端口 8888 或者 3126 https://www.cnblogs.com/zhaowenzheng/archive/2008/08/06/1262252.html ,但是还是不行,我使用第三台发送 vps 拨号拨出来的 host:8888 或者 3126 端口 还是不行,显示的是第三台的 ip

http://i2.tiimg.com/691087/51c36beec7d9afc4.png

求救怎么设置端口和有效 ip
1873 次点击
所在节点    Python
14 条回复
z1421012325
2019-06-18 17:30:54 +08:00
crab
2019-06-18 17:48:25 +08:00
客户端本来就没发送 port,port 是在服务端 config.py 那边设置固定好,ip + ':' + str(config.PORT)
z1421012325
2019-06-18 18:13:23 +08:00
@crab 那我在含 flask 服务端上咋知道 vps 客户端的端口啊,
轮子中说的难道是要在 flask 服务端使用 Squid 或者 TinyProxy 设置端口吗?还是随便写一个?
crab
2019-06-18 18:49:22 +08:00
@z1421012325 你固定设置一个啊。那是你拨号后得到新 IP,只是 IP 变,端口固定一直那个。(除非你要随机端口)
akira
2019-06-18 18:54:20 +08:00
电信一直拨号? 早点放弃这个做法比较好
z1421012325
2019-06-18 19:09:01 +08:00
@crab 不,其实我想问是在 vps 客户端上设置还是在含有 flask 的服务端使用 squid 设置一个端口?
其实就是这点搞不懂
z1421012325
2019-06-18 19:10:06 +08:00
@akira 怎么?会把这服务器 ban 掉吗?还是有什么缺点?
z1421012325
2019-06-18 19:16:29 +08:00
@crab 我现在再试试 在含 flask 的服务端 用 tinyproxy 按着这个搞 https://www.2cto.com/kf/201806/754303.html
noparking188
2019-06-18 19:25:15 +08:00
http://zhiweio.me/2017/07/26/dynamic-agent-building/
https://github.com/PyCN/dynamicAgent
好久之前我也有过这样的需求,当时写的文章,你有需要可以参考一下
z1421012325
2019-06-19 02:12:32 +08:00
@crab 我这边弄了一个 centos 的 adsl vps 拨号服务器,是要在 vps 端设置端口才行,我先前是在 xp 上使用 squid,现在 centos 使用的是 tinyproxy 设置端口的,xp 上的可能是 squid 设置有问题,所以一直没有弄开端口
locoz
2019-06-20 18:08:24 +08:00
看了一下,应该是你的代理服务器设置有问题,可以直接在代理服务器那台机上连一下 8888 端口试试,如果本机测试可以连上的话就看看防火墙设置,还不行的话估计是 NAT 的问题了,可以按常规的 NAT 打洞操作来搞。
locoz
2019-06-20 18:09:35 +08:00
对了,squid 有白名单设置的,如果没给调用机的 IP 开白名单的话也是使用不了的,不过可以看到 403 页面
z1421012325
2019-06-20 19:48:31 +08:00
@locoz 我设置的是 0.0.0.0/0 都可以访问,但是用不了
z1421012325
2019-06-20 20:03:50 +08:00
@noparking188 这个函数的方法 s.connect(("8.8.8.8", 80)) 什么意思,我还没学这个...看不懂

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/575192

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX