V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
OysterQAQ
V2EX  ›  分享创造

一个 Pixiv 排行与免费高级会员搜索的站点 2.0

  •  
  •   OysterQAQ ·
    OysterQAQ · 2019-04-29 12:59:58 +08:00 · 9653 次点击
    这是一个创建于 2067 天前的主题,其中的信息可能已经有所发展或是发生改变。

    Link:https://pixivic.com

    Github:https://github.com/OysterQAQ/Pixiv-Illustration-Collection

    距离上次在 v 站发布上线七个月后,迎来了一次更新与重构,目前后端重构已经完成,前端的功能性更新会慢慢进行(已经不是我维护了),目前可以预览的更新有 pc 端的日排行页面(以及 gif 图片和漫画的多页查看)

    功能的增加

    • 增加周排行,月排行
    • 漫画类型的查看
    • gif 图片的显示与下载(仅提供 600*600 尺寸)
    • 查看更详细的画作信息
    • 查看画师信息
    • 热门排序搜索的时间区间选定
    • 搜索联想

    技术栈迭代

    • jdk: 11(编程风格的变化与一些流式操作带来的并行化好处)
    • web: spring web reactive
    • db: mongodb
    • httpclient: jdk11 httpclient (本地爬虫)、webclient(服务端实时请求)
    • image processor: graphics magick(call by gm4java)(主要是 gif 的合成与过大图片的压缩)

    体验优化

    • 本地爬虫使用 https 请求替代 ssl 远程连接服务端数据库
    • 将根据 p 站原生的内容分级调整图床(非动态图片级数大于 5 上传 uploadcc,小于 5 上传新浪图床,动态图片上传 postImage),将减少新浪图床的和谐造成的不便
    • 更快的 web 体验
    • 将部署多台图片反代服务器(目前准备两台)
    第 1 条附言  ·  2019-05-01 10:11:18 +08:00

    大家五一快乐!

    第 2 条附言  ·  2019-05-02 11:23:59 +08:00
    反代服务器换了国内 nat 效果还可以哒
    46 条回复    2019-08-04 19:27:13 +08:00
    zirconium
        1
    zirconium  
       2019-04-29 13:04:27 +08:00
    目前在使用,感谢大佬提供的平台。
    OysterQAQ
        2
    OysterQAQ  
    OP
       2019-04-29 14:39:55 +08:00 via iPhone
    @zirconium 感谢使用_(:з」∠)_
    isleon
        3
    isleon  
       2019-04-29 15:07:38 +08:00
    在别的坛看过老哥的贴,目前学生无收入,还开销那么大,很艰难呀。
    微博图床之前还没了。
    OysterQAQ
        4
    OysterQAQ  
    OP
       2019-04-29 15:15:14 +08:00
    @isleon 主要是微博图床的限制,其实目前维护费用一年一共几百块,还挺轻松的,如果微博图床以后 referer 强制指定为 weibo.com 的话,日排行模块可能就难以为继了
    samondlee
        5
    samondlee  
       2019-04-29 16:52:56 +08:00
    联通 4G 热点搜索的时候一直在转圈

    浙江移动固网也是 emmmm

    之前在成都电信成都移动的时候好好的。。。

    用美国节点访问的话 一搜索就会拒绝服务?
    native
        6
    native  
       2019-04-29 17:01:11 +08:00
    感谢分享
    OysterQAQ
        7
    OysterQAQ  
    OP
       2019-04-29 17:27:48 +08:00 via iPhone
    @samondlee api 的 dns 缓存估计没刷新
    del1214
        8
    del1214  
       2019-04-29 17:30:35 +08:00
    请问架构图拿什么软件画的,😊
    98jiang
        9
    98jiang  
       2019-04-29 17:40:21 +08:00
    收藏一下~
    OysterQAQ
        10
    OysterQAQ  
    OP
       2019-04-29 17:54:42 +08:00 via iPhone
    @del1214 xmind zen
    KnightChess
        11
    KnightChess  
       2019-04-29 19:23:16 +08:00 via Android
    抓到你了,老乡
    OysterQAQ
        12
    OysterQAQ  
    OP
       2019-04-29 20:05:55 +08:00 via iPhone
    @KnightChess ...⁄(⁄ ⁄•⁄ω⁄•⁄ ⁄)⁄....捕捉
    kurisu1901
        13
    kurisu1901  
       2019-04-29 20:24:51 +08:00
    很感谢! 能绕过会员的热门搜索限制真是太方便了
    RicardoY
        14
    RicardoY  
       2019-04-29 20:34:27 +08:00 via Android
    呃似乎已经挂掉了..
    OysterQAQ
        15
    OysterQAQ  
    OP
       2019-04-29 21:40:17 +08:00 via iPhone
    @RicardoY 具体什么情况?
    catalina
        16
    catalina  
       2019-04-29 21:48:06 +08:00 via Android
    前段时候好好的,今天上去好像加载不出图片了。。。
    OysterQAQ
        17
    OysterQAQ  
    OP
       2019-04-29 21:56:24 +08:00
    @catalina 日排行还是搜索?
    catalina
        18
    catalina  
       2019-04-29 22:02:11 +08:00 via Android
    @OysterQAQ 搜索。日排行正常。
    我发消息可能你那边收不到提醒,不好意思给你造成麻烦了。
    ffghf
        19
    ffghf  
       2019-04-29 22:03:51 +08:00 via Android
    真的挺好用,就是不知道为啥加载速度贼慢...
    OysterQAQ
        20
    OysterQAQ  
    OP
       2019-04-29 22:18:52 +08:00
    @catalina 有啥麻烦的 搜索的话高速的服务器本月流量用完啦,现在是龟速的
    @ffghf 高速的服务器本月流量用完啦
    catalina
        21
    catalina  
       2019-04-29 22:46:20 +08:00 via Android
    @OysterQAQ 这样吗。。。
    wolflone
        22
    wolflone  
       2019-04-29 23:25:34 +08:00 via Android
    是不是只有全年龄的?
    RicardoY
        23
    RicardoY  
       2019-04-29 23:30:02 +08:00 via Android
    @OysterQAQ 搜索的时候长时间显示动画不出结果
    OysterQAQ
        24
    OysterQAQ  
    OP
       2019-04-29 23:36:46 +08:00 via iPhone
    @RicardoY dns 缓存的锅
    OysterQAQ
        25
    OysterQAQ  
    OP
       2019-04-30 00:45:52 +08:00 via iPhone
    挺感动的,下午上了捐助链接,刚才收到了人生中第一笔与第二笔捐助
    sobigfish
        26
    sobigfish  
       2019-04-30 01:13:09 +08:00
    长时间没有返回 然后 500 😂 难道是你的服务器被 p 站屏蔽了?

    Request URL: https://api.pixivic.com/illusts?page=0&keyword=%E5%A5%B3
    Request Method: GET
    Status Code: 500 Internal Server Error
    Remote Address: 120.79.134.10:443
    Referrer Policy: no-referrer-when-downgrade
    OysterQAQ
        27
    OysterQAQ  
    OP
       2019-04-30 01:34:41 +08:00 via iPhone
    @sobigfish 反代服务器网络出了点问题,在香港,小厂商,难免波动,p 站是被墙的
    chunbai
        28
    chunbai  
       2019-04-30 09:19:26 +08:00
    挺好用的(❤ ω ❤)
    1847bell
        29
    1847bell  
       2019-04-30 09:23:15 +08:00
    昨天就开始用了,厉害嗷铁汁
    crazytree
        30
    crazytree  
       2019-04-30 09:31:48 +08:00
    只有我一个人用不了吗?搜索无结果,排行无结果
    OysterQAQ
        31
    OysterQAQ  
    OP
       2019-04-30 10:35:22 +08:00
    @crazytree 可能是 dns 缓存没清理干净
    BCy66drFCvk1Ou87
        32
    BCy66drFCvk1Ou87  
       2019-04-30 15:04:04 +08:00
    背景图片好可爱
    OysterQAQ
        33
    OysterQAQ  
    OP
       2019-04-30 17:43:22 +08:00
    @HuasLeung 芝麻凛赛高
    cyh1997
        34
    cyh1997  
       2019-04-30 18:34:26 +08:00 via Android
    首页背景这么可爱,有没有原图呢
    OysterQAQ
        35
    OysterQAQ  
    OP
       2019-04-30 22:36:52 +08:00
    @cyh1997 我这张就挺清晰呀 原图没保存
    KasuganoSoras
        36
    KasuganoSoras  
       2019-05-01 00:56:34 +08:00
    老哥,挂了
    KasuganoSoras
        37
    KasuganoSoras  
       2019-05-01 00:57:50 +08:00
    建议图片 GET 下来以后缓存一下,定期清理,不然的话请求量一大网站就容易挂……
    mmdsun
        38
    mmdsun  
       2019-05-01 01:04:16 +08:00 via Android
    我这边代理上 b 站是 OK 的。但是这是搜索转了几圈谷歌就提示 DNS_PROBE_FINISHED_BAD_CONFIG
    Ghosin
        39
    Ghosin  
       2019-05-01 02:01:31 +08:00
    很棒一直在用
    shihira
        40
    shihira  
       2019-05-01 08:21:43 +08:00 via Android
    啊啊盼这个功能盼了好多年了。尽快修复希望

    其实不把图爬下来也没所谓,只需要到原站的链接就够了,节省点开支
    OysterQAQ
        41
    OysterQAQ  
    OP
       2019-05-01 09:21:12 +08:00 via iPhone
    @shihira 有的,点击后跳转到 pixiv 的详情页
    xh520630
        42
    xh520630  
       2019-05-01 18:07:25 +08:00
    辛苦了哇 终于可以上 P 站了激动(不)
    RicardoY
        43
    RicardoY  
       2019-05-01 21:42:55 +08:00 via Android
    @OysterQAQ 请问为什么最近几天的排行为什么加载不出来呀
    OysterQAQ
        44
    OysterQAQ  
    OP
       2019-05-01 22:36:38 +08:00
    @RicardoY 28 号前的可以。默认最新是当前日期前天的日排行
    RicardoY
        45
    RicardoY  
       2019-05-01 23:41:15 +08:00 via Android
    @OysterQAQ 辛苦了
    kazakiri
        46
    kazakiri  
       2019-08-04 19:27:13 +08:00 via Android
    用 Nginx 怎么反代呢?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1511 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 17:07 · PVG 01:07 · LAX 09:07 · JFK 12:07
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.