【发布时间】:2015-03-13 08:06:20
【问题描述】:
我想发出关键字或主题标签的查询,并从包含该关键字的所有推文中检索所有图像。我可以使用Twitter4J 和Java 轻松发出查询并检索结果推文。我知道我可以在浏览器中访问http://t.co/xxxx 链接并查看相关图像。该图像位于https://pbs.twimg.com/xxxxx。所以看来我所要做的就是在我的代码中处理这个过程!
我可以很容易地解析每条推文中的http://t.co/xxxx 链接。但是,当我从该链接检索所有 html 时,我看不到任何 https://pbs.twimg.com/xxxx 图像 :(。我认为发生的事情是 twitter 正在通过 JavaScript 加载这些图像。
有什么方法可以让我轻松检索每条推文上的图片??
这是我目前所拥有的:
package com.company;
import twitter4j.*;
import twitter4j.conf.ConfigurationBuilder;
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class Main {
public static void main(String[] args) throws Exception {
ConfigurationBuilder cb = new ConfigurationBuilder();
cb.setDebugEnabled(true)
.setOAuthConsumerKey("xxxxxxxxxx")
.setOAuthConsumerSecret("xxxxxxxxxxxx")
.setOAuthAccessToken("xxxxxxxxx-xxx-xxxxxxxx")
.setOAuthAccessTokenSecret("xxxxxxxxxxxxxxxxxxx");
TwitterFactory tf = new TwitterFactory(cb.build());
Twitter twitter = tf.getInstance();
Query query = new Query("#hashtag");
QueryResult result = twitter.search(query);
Pattern pattern = Pattern.compile("http://t.co/\\w{10}");
Pattern imagePattern = Pattern.compile("https\\:\\/\\/pbs\\.twimg\\.com/media/\\w+\\.(png | jpg | gif)(:large)?");
for (Status status : result.getTweets()) {
if (status.isRetweet())
continue;
System.out.println("@" + status.getUser().getScreenName() + ":" + status.getText());
Matcher matcher = pattern.matcher(status.getText());
if (matcher.find()) {
System.out.println("found a t.co url");
URL oracle = new URL(matcher.group());
BufferedReader in = new BufferedReader(
new InputStreamReader(oracle.openStream()));
String inputLine;
while ((inputLine = in.readLine()) != null) {
matcher = imagePattern.matcher(inputLine);
if (matcher.find())
System.out.println("YAYAAYAYAYYAYAYAYAYAYAYAYAYAAYAYYAYAAYYAYAYAYA: " + matcher.group());
}
in.close();
}
}
}
}
【问题讨论】: