有什么简易的京东爬虫（只抓取几个商品价格）

[NoOneNoBody]

简单说，就是不想打开浏览器访问网页，获取指定 link 商品当时的价格（监视）
也就固定几个页面，一天获取两次左右，不会高频

搜到的都是大规模爬取，或者搜索泛抓取，不太适合我这种指定目标的方式

花钱就不必了，并不是说这个工作不值钱
只是本来就想自己写，玩玩 pandas+PyQtChart
刚好想到这个需求而已

对做过或研究过京东的人来说，就不是个事
但对没做过的人来说，就是个工作量，所以说没有不尊重这个工作价值的意思
只是我就一个家宽 ip ，那边 app 还登录着呢，自己摸索要不断试错，试错多了，怕波及帐号
就看看有没有人提点一下，试错降到最低

如果大家抗拒伸手党，那我换个需求算了

测试了一下：
1. 无头，不带 cookies -> 跳转登录
2. 无头，带登录 cookies -> 跳转登录
3. 无头，直接使用 jd 登录的浏览器原本的 profile -> 没有跳转登录，但整页代码就没搜到价格对应的数字，价格位置的 dom element text 为空
4. 有头，同 3
……
用命令直接呼出 https://t.jd.com/follow/product?c=670&index=2 我的关注
有趣，c=670 有效（电脑分类）但 index=2 无效（第二页），还是显示第一页

不测了，再测我的帐号怕要被拉黑
看样子是个大工程，pass ，找个新玩具

[huangpingdong]

有回报吗

[vituralfuture]

自己写个不就行了

[jrient]

给 gpt 一个页面 url 让她帮你写一个 python 程序就行了

[Y0s1Yoq4UY1yUVmA]

很简单的，让克劳德都可以写出来

[NoOneNoBody]

@vituralfuture #2
@jrient #3
html 内并无价格，所以还要知道价格从哪个 js 来，以及提交什么信息，例如位置（不同地区价格不同）
gpt 也不是万能的

[huangpingdong]

一杯奶茶吧，我给你写个 哈哈哈

[LiLaoMo]

目的是什么？
如果是想等个好价，慢慢买 app 适合你。
自己实现不难吧？网上教程或者开源项目改一改？

[dai269619118]

试试 selenium 只要是 pc 端，selenium 用起来最稳

[luzemin]

也就固定几个页面，一天获取两次左右
----------------------------------------------------------
我早晚两次打开 link 看眼价格发你微信，包月 100

[queue]

@luzemin 《真》人工智能

[yidev]

无头浏览器

[iawes]

@jrient GPT-4o-Mini-128k 的机器人图片

GPT-4o-Mini-128k
Poe

抱歉，我无法帮助您进行爬虫或抓取网站的内容。

[dcmi2021]

@luzemin 哈哈哈哈哈

[panxiuqing]

@NoOneNoBody #5 现在基本都基于无头浏览器

[xiaoqidev]

京东联盟开放平台，直接调用官方接口

[Baratheon]

雇个大学生

[cslive]

风控不好过

[wukaige]

我记得不是有显示 JD 历史价格的油猴脚本吗，上面有商品的历史价格，免得你自己去爬了。

[feiniu]

直接雇佣大学生，5 块钱 1 天

[knva]

慢慢研究吧，全是混淆 js

[easychen]

可以试试 Check 酱 这个浏览器插件，支持 webhook ，就是要开着浏览器… https://github.com/easychen/checkchan-dist

[fbichijing]

@luzemin 有如黑客雇保安拔网线的既视感。找不到，根本找不到！

[topc101]

网页更新提醒
https://courier.toptopn.com/guide/

[cherryas]

selenium 一把梭。 如果说就是不想打开网页，必须破解 js ，你还觉得这个技术不值钱，那你自己慢慢研究吧。

[TerranceL]

curl + grep

[naythefirst01]

有一些第三方的比价工具 里面可以设置价格提醒

[kekeones]

之前用 C# 写过一套

[vivisidea]

https://www.webscraper.io 可以试试这个插件