写在前面
kit一个ip代理应用，代理来源于一些公开的免费代理ip网站。技术方面有使用到scrapy框架，使用到了redis去重，暂时用的mysql存储，supervisor对爬虫进程进行控制调度，日志文件暂时存在文件里，之后会考虑用数据库存储日志并进行分析。使用了tornado框架进行前端展示，bootstrap开源的前端模版adminTLE，现在只是暂时搭了架子，前端具体的内容因为还没有进行数据分析，所以以后再进行完善。在摸索的过程中，有遇到很多的问题，而且有一些还是尚未解决的，先记录下来，慢慢看。