Python 提取 POST 返回的 Response

[haomni]

看到有人在 http://v2ex.com/t/269567 求助，准备在 @hzlzh 脚本基础上增加一个 exurl

自己刚开始学 Python 不久，能力不足，目前卡在从下面 POST 返回的代码中提取 http://test.long.url/ 这个返回的链接，其余都差不多了

<table id="response" border="0" cellpadding="0" cellspacing="0">
<tr><td class="shorturl">http://test/shorturl</td><td class="longurl"><a href="http://test.long.url/" target="_blank">http://test.long.url/</a></td></tr>	</table>

看了下面两个帖子弄了半天还是没搞定，求助各位

• http://doc.scrapy.org/en/latest/topics/selectors.html
• https://www.crummy.com/software/BeautifulSoup/bs4/doc/

先谢谢各位~

[eoo]

要 POST 的地址呢？

[haomni]

@eoo 感谢回复，从 POST 返回的结果中抓取 URL 应该不需要原来的 POST 地址吧……

[virusdefender]

# coding=utf-8
import re

html = """
<table id="response" border="0" cellpadding="0" cellspacing="0">
<tr><td class="shorturl">http://test/shorturl</td><td class="longurl"><a href="http://test.long.url/"
"""

print re.compile('<td class="shorturl">([\s\S]*?)</td>').findall(html)[0]

[haomni]

@virusdefender 感谢，但是这个找出来的是 shorturl
我换成 longurl 之后结果是：
<a href="http://test.long.url/" target="_blank">http://test.long.url/</a>

还是没达成目的……

[uyhyygyug1234]

# coding=utf-8
import re


html = """
<table id="response" border="0" cellpadding="0" cellspacing="0">
<tr><td class="shorturl">http://test/shorturl</td><td class="longurl"><a href="http://test.long.url/"
"""

print re.compile('href="(.*)"').findall(html)[0]

[uyhyygyug1234]

这样可以不过是在太丑了。应该上 bs4 ， pyquery 之类的额

[haomni]

@uyhyygyug1234 大侠 结果好像不太对啊 也可能是我 Reponse 结果没有贴全的缘故

>>> print re.compile('href="(.*)"').findall(req.content)[0]
/screen.css

class="longurl" 这个在整个 Response 中是唯一的，现在要的是取后面那个指向链接

[sh4n3]

用 .longurl a 这样的 css Selector 就好了。

[ericls]

直接 pyquery 来搞

[eoo]

@haomni 用 PHP 很容易

<?php

$str='<table id="response" border="0" cellpadding="0" cellspacing="0">
<tr><td class="shorturl">http://test/shorturl</td><td class="longurl"><a href="http://test.long.url/" target="_blank">http://test.long.url/</a></td></tr> </table>';

$zz='#<td class="longurl"><a href="(.*?)" target="_blank">.*?</a></td>#';

preg_match($zz, $str, $matchs);

print_r($matchs);

[haomni]

@uyhyygyug1234
@ericls
试了下 PyQuery ，可能我用法不太对
print doc1('class:contains("longurl")')

@eoo 不准备再换 php 了，其它都写好了

[eoo]

@haomni 好吧 ，写的什么？

[seki]

为啥不用 beautifulsoup 或者 lxml

[seki]

嗯比方说你的 bs4 提取失败的代码是什么样的

[haomni]

感谢各位， PyQuery 不太会用
在 @uyhyygyug1234 的基础上再用一次正则就搞定了

@seki 唉，虽然有心想用，但是不会啊……

[longchisihai]

from bs4 import BeautifulSoup

html = '''<table id="response" border="0" cellpadding="0" cellspacing="0">
<tr><td class="shorturl">http://test/shorturl</td><td class="longurl"><a href="http://test.long.url/" target="_blank">http://test.long.url/</a></td></tr> </table>'''

soup = BeautifulSoup(html, 'lxml')

longurl_tag = soup.find('td', class_ = 'longurl')

print (longurl_tag.contents[0].get('href'))

[haomni]

@longchisihai 简直完美，感谢！

[haomni]

大致的样子有了，
弄了一宿，先去睡一会，醒了再测，先上个图压压惊
再次感谢各位技术帝帮忙，稍后会将作品上传到 Github 开源

[hzlzh]

干得漂亮~

[haomni]

@hzlzh 都是在前辈的基础上改的 还有一些细节没有完善
弄好了我再联系你~