爬取内容链接优化

目前爬取会出现重复的内容，一个http和一个https，需要优化爬虫的时候优先识别https，如果当前链接存在https的内容后跳过https的爬取

这是个伪命题。。。。
就算域名一样，http 和 https 就必须是同一个网站么。