coderLMN
commented
8 years ago 谢谢你提出了一个非常有价值的问题。
我看了一下，腾讯新闻的网页把评论内容和控制按钮都放在了一个 id 为 commentIframe 的 iFrame 里，所以直接用
> loadMoreButton <- element_xpath_find(value = '//*[@id="loadMore"]/span')这样的语句是找不到那个“加载更多”按钮的，只会得到一个空对象，再用
> element_click(loadMoreButton)点击不到那个按钮，也就不会有点击的效果。
其实这种情况在微博里也存在。你提的这个问题对于国内很多网站有代表性，而原书中并没有分析这种问题的解决办法。
顺带说一句，其实 iFrame 有很多弊端，W3C 早就不推荐使用了，不理解为何国内这么多网站还在用，可能是因为它们用的某些框架或者库内部就是这样实现的吧。
按照 9.1.9 节讲解的方法确实解决不了这个问题。里面用到的 Rwebdriver 组件是该书的作者之一 C. Rubba 编写的，我个人觉得它做得并不好，在它的文档里也没找到如何处理 iFrame 的功能。后来我改用 RSelenium 组件，很轻松地解决了 iFrame 问题。它的文档可以参阅：https://cran.r-project.org/web/packages/RSelenium/vignettes/RSelenium-basics.html 。
解决这个问题的总体思路就是，先找到 “加载更多” 评论那个按钮所在的 iFrame，然后把当前 DOM 切换到这个 iFrame，再从中去定位该按钮。获得这个按钮之后，可以用一个 while 循环重复点击动作，直到所有评论加载完成、按钮失效为止，这种情况下就说明所有评论都已成功加载到 DOM 里了。
我自己尝试的代码是这样的：
> install.packages("RSelenium")
> library(RSelenium)
> library(XML)
> remDr <- remoteDriver(remoteServerAddr = "localhost" , port = 4444, browserName = "firefox" )
> remDr$open()
> remDr$navigate('http://coral.qq.com/1398070563/')
> iFrame <- remDr$findElement(using = 'xpath', "//*[@id = 'commentIframe']") # 评论所在的 iFrame
> remDr$switchToFrame(iFrame) # 先切换到评论 iFrame
> loadMoreButton <- remDr$findElement(using = 'xpath', "//*[@id = 'loadMore']/span") # 在评论 iFrame 里找到那个 “加载更多” 按钮
> while(exists("loadMoreButton")) {loadMoreButton$clickElement() ; loadMoreButton <- remDr$findElement(using = 'xpath', "//*[@id = 'loadMore']/span") } # 在评论 iFrame 里循环点击 “加载更多” 按钮，直到评论加载完该按钮不再出现为止（需要等待的时间比较长）
> comments <- remDr$findElement(using = 'xpath', '//*[@id="allComments"]') # 获取的所有评论就在 comments 里。这是一个大 div ，评论信息还需要进一步提取，这个就留给你继续吧以上代码我在自己的环境下测试通过（MacBook Pro, OSX 10.11.4，JDK 8, Selenium 2.53.0 , R 3.3.0， IDE 是 RStudio），你可以试试，有问题再告诉我。
============================= 高级班的分隔线 ==================================
其实这个问题对于掌握了 JavaScript 语言的读者来说就非常简单了，因为 JS 可以很方便地操作 DOM，触发事件。
这里的思路和上面是一样的，但是不需要任何库、插件、组件之类，连 R 语言和 Selenium 都不需要，只要有个浏览器即可，简单得不能再简单了。以下代码可以在加载了这个新闻的页面上右键点击“检查元素”（Inspect Element），在“控制台”（Console ）中输入并执行：
var iframe = document.getElementById('commentIframe'); // 找到评论所在的 iFrame
var innerDoc = iframe.contentDocument || iframe.contentWindow.document; // 定位到 iFrame 的DOM
var event = document.createEvent("HTMLEvents");
event.initEvent("click", false, false); // 给这个按钮初始化一个点击事件
var allComments, t, loadMore;
function readComments(){
loadMore = innerDoc.getElementById('loadMore').children[0]; // 等待 DOM 加载完成，重新读取这个按钮
if(loadMore.nextElementSibling.style.display != 'block') { // 隐藏的“没有更多评论” 提示文字不显示，说明评论尚未全部加载
loadMore.dispatchEvent(event); // 触发点击事件
}
else{
clearInterval(t); // 按钮已经不显示，说明加载完成，可以清除循环
console.log('Done!'); // 在控制台显示任务完成的提示
allComments = innerDoc.getElementById('allComments'); // 所有评论都在这里了
}
}
t = setInterval("readComments()",10000); // 每次点击后先等待 10 秒，让新评论加载进来。执行完这些代码后，所有的评论都在 allComments 对象里，后续就可以对它进行分解和分析。
正如我在译者序里所说的，本书用 R 语言作为代码演示的平台，但是书中讲解的方法并不局限于 R 语言，在很多语言平台上都是很容易实现的。读者也可以用自己熟悉的语言来尝试一下，这样才是学以致用嘛。
jlhnihao
sportzhang
LeeWill2016
urdaddy85
您好，我从9.1.9节看到从实时DOM树中提取底层的HTML代码，于是想在本节的框架下提取腾讯新闻的评论，但好像page_source()函数并不获得含有评论内容的DOM树。在其他章节我没找到如何解决该问题的线索，特向您请教。如果需要的话，不如我们就以最近闹得沸沸扬扬的雷洋的新闻事件的评论为例，我附上评论网址：http://coral.qq.com/1398070563 。希望能得到您的帮助，非常感谢。