Posted by admin in 开发日志 on 2009-09-08
由于前一阵的瓶颈造成一些排名数据损坏掉了,而我自己竟然没有发现,多亏默燃发现并通知我。写了个过滤程序打算把错误数据过滤一下,结果发现排名监控的表格已经达到1900万多的记录,单表的磁盘空间占用达到3.3GB。过滤程序跑了一天也没有过滤完成。考虑到最近回报查看排名监控变慢的声音,决定将表格分割。接下来的工作变的异常顺利,几个小时就分割并过滤完毕了。通过小范围询问,都反映排名监控速度好多了,不负我辛苦啊。再次感谢默燃。
另外感谢Fox,Fox发现一个百度的细节,会提升数据的准确性。虽然还没有应用到追词上,还是很感谢Fox的分享。
千万级数据, 排名监控, 表格分割
5 Comments