蜘蛛池通过集中调度海量域名的蜘蛛抓取资源，使新建站点的页面可以快速被百度等搜索引擎发现并收录。在万级域名场景下，需要关注：数据库索引设计、批量写入缓冲、随机池算法避免ORDER BY RAND等关键点。