利用lynx -dump的和grep awk组合,导出搜索结果链接列表:
lynx -dump 将结果页面和链接分别导出
grep KEYWORD 过滤出包含KEYWORDS的行
grep -v KEYWORD 过滤出不包含KEYWORDS的行
awk '{print $2}' 打印出第2列
lynx -dump "http://www.google.com/search?q=baidu" | grep http | grep -v google | grep -v cache|awk '{print $2}'
http://www.baidu.com/
http://www.baidu.com/search/jiqiao.html
http://mp3.baidu.com/
http://site.baidu.com/
http://bar.baidu.com/robots/
http://bar.baidu.com/mp3/
http://www.21cnbj.com/industrynews/se_doc/baidu.htm
http://union.baidu.com/
http://kaihui0.tripod.com/
lynx -dump "http://www.baidu.com/baidu?word=google"| grep http|grep -v baidu|awk '{print $2}'
http://www.google.com/
http://www.google.de/
http://groups.google.com/
http://images.google.com/
http://www.google.com.sg/
http://ww.google.com/
http://www.google-watch.org/
http://www.googlecn.cn/
http://www.googlebeijing.com/
版权声明:可以转载,转载时请务必以超链接形式标明文章 用Lynx过滤出搜索结果链接 的原始出处和作者信息及本版权声明。
http://www.chedong.com/blog/archives/000470.html
Comments
第一次用lynx 发现比links看网页方便多了..
这个lynx -dump可以直接取出所有链接地址 只用一行就搞定了 很方便, 不过不好根据链接标签之间的内容来做进一步的判断 有些遗憾.
由: BunnyQ 发表于 2006年07月07日 下午04时42分