前后端分离的项目做 SEO

[ty4z2008]

• 1.通过 User-agent 判断是否为爬虫访问。如果是则通过反向代理或者其他程序代理到一个专门为爬虫准备的服务
• 2.自己通过 nodeJs+puppeteer 或则模拟浏览器访问我们的项目然后返回渲染完成好的 HTML。

下面列出了一些常见的爬虫 agent

User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Baiduspider-news
User-agent: Baiduspider
User-agent: Baiduspider-image
User-agent: Sosospider
User-agent: bingbot
User-agent: 360Spider
User-agent: HaosouSpider 
User-agent: yisouspider
User-agent: YoudaoBot
User-agent: Sogou Orion spider
User-agent: Sogou News Spider
User-agent: Sogou blog
User-agent: Sogou spider2
User-agent: Sogou inst spider
User-agent: Sogou web spider
User-agent: EasouSpider
User-agent: MSNBot

User-agent: ChinasoSpider

[creedowl]

很多爬虫都会伪装成搜索引擎吧，而且像 vue 这些前端框架都有 ssr 组件

[fuxinya]

像是谷歌搜索，会不定时伪装成正常的访问，如果爬取二者页面相差很大，会认定你作弊

[whypool]

目前打算上 ssr 了

[nobb519]

现在已经不存在 SEO 了。外语站就有，但需要 PWA，百度的话，散了吧

[alexmy]

如果是 react, vue，ssr 的解决方案也挺多的了。

[LongLights]

4 楼说的对 中文网站已经没有 SEO 了

[abcbuzhiming]

目前前后端分离项目如果一定要做 SEO，最理想的方案就是退回到后端渲染，针对爬虫返回不同内容很容易被判作弊的