与第三方爬虫合作实现热榜功能

[thuhole]

我们允许与我们合作的爬虫对我们每天的树洞进行热度排序。如果有人现在做好了爬虫，欢迎开源之后与我们商讨合作事宜。

[rcy17]

我不太理解，为什么你们选择让第三方爬虫实现热榜，而不是自己直接通过数据库操作实现热榜呢？这样的操作很可能将加大你们的负载、并且第三方爬虫的数据回推给你们也需要制定一系列的计划或者协议。 或许你们在数据库方面缺人手？那样的话直接“招募”或许更好？

[thuhole]

@rcy17 主要是热榜的前端不想做了hhh

[rcy17]

最新回复的洞被顶上来的功能考虑给 posts 表加一个字段 update_time 作为时间戳并加上 index，发表时初始化为发洞 timestamp，有新的 commits 时用它的 timestamp 作为更新就好；热榜功能配合 redis 之类的载体定时更新，筛选时间戳新于此前一小时（或一天）的 commits ，然后用 count 和 group by 给回复数排个序再用 order by 配合 limit 截取前n个即可。 如果和爬虫合作的话，无非是让爬虫方自己重建数据库实现这个过程吧？

[rcy17]

@rcy17 主要是热榜的前端不想做了hhh

不好意思我发上一条的时候还没看到这个回复。那你们是希望爬虫方专门提供一个第三方的前端吗？那样不会很奇怪吗，看树洞的热榜竟然要离开树洞，我先点一下跳转到热榜，再从热榜点一条跳转回来...

[thuhole]

@rcy17 前端代码结构有些混乱hhhh加东西不太好加了。。。

[thuhole]

@rcy17 如果我们来做热榜，数据库倒是好办