PHP 抓取网页 Title 中文乱码

[gangsta]

StackOverflow上找了一大圈,这个似乎是最靠谱的,但有点不符国情

function getPageTitle($url){
$doc = new DOMDocument();
@$doc->loadHTMLFile($url);
$xpath = new DOMXPath($doc);
return $xpath->query('//title')->item(0)->nodeValue;
}

大部分网站的title都可以抓到
有一部分会乱码,比如淘宝(因为charset是gbk的缘故?),除了英文字符外汉字全是乱码
有什么解决办法吗?

[tension]

转码！

[catfan]

mb_convert_encoding($title, 'UTF-8')

[Actrace]

mb_convert_encoding实际上不是一个比较好的方案。

[alex321]

检测一下编码，然后尝试对应转换，不要直接用 mb_convert_encoding。

[kamal]

检测网页内容编码，然后转码，不要只检测head声明的编码。
有可能head声明编码与内容实际编码不一致。

[shiny]

应该尽量模拟浏览器的识别：
1、识别 header 中的 content_type 附带的 charset 设置
2、如果没有，识别 meta 中的编码声明
3、html 里的 head 后面增加一个编码的声明，方便 DOMDocument 识别。

通过这些操作后，title 乱码的情况基本消灭。
代码在这里 https://github.com/shiny/PandaOpenNode/blob/master/upload/title.php

[gangsta]

@shiny
试了下,很不错,大部分乱码都解决了

淘宝店铺首页好像抓不了~~

[shiny]

@gangsta 试了下是可以抓的，你可以在 http://baidu.pandaidea.com/ 测试标题有没有正常抓取到，代码就是 github 上的。

[gangsta]

@shiny 打不开,被墙了?

[shiny]

@gangsta 没被墙吧。
这样，我做了个最小化的例子
你说的店铺首页应该就是一个店的首页吧？

http://monitor.shiguanglu.com/demo/?url=http%3A%2F%2Fhztyhy.taobao.com

[gangsta]

@shiny

你那边是OK的,我再检查下,再次感谢.