python 多线程实现定期更新ip库

发布时间：2019-09-12 07:55:10编辑：auto阅读（2020）

    通过最近监控发现，使用第三方Cdn公司的带宽偏高。由于最近没有增加新的业务。感觉其中肯定有问题。按照我们的Cahe架构，用户首先到我们自建Cache节点获取数据，如果该区域没有我们的节点，会去第三方节点进行取数据。具体架构如下：


     




    用户无论在我们自建Cache节点还是第三方Cache节点取数据，域名解析都是通过我们自己的DNS进行解析。所以可以通过DNS 的log查询哪些节点使用了第三方Cdn公司Cache节点。对使用第三方Cdn公司Cache节点的用户，分析用户的Local dns所在的区域，方便优化自建Cache节点覆盖率。







解决方案：

1. 首先获取所有用户访问第三方用户的localDNS

2. 然后通过互联网提供的开放API接口，查询local DNS的归属地。

3. 对查询过后的数据通过文件或者其它数据格式，传送到ip库平台。

4. 通过ip库平台的ip库记录和获取到用户local dns准确性进行审核，然后经新的ip更新到ip库。

5. 根据用户覆盖率，对自建Cache节点优化。

    

使用多线程和队列技术，完成前三步工作：

#!/usr/bin/env python
#-*- coding:utf-8 -*-
from subprocess import PIPE, Popen
from Queue import Queue
import time, urllib2, threading
import json

#对请求到第三方Cache节点的数据，筛选出来 。
def parserLog():
    
    cmd = "sed '/ANY/p' dns_logs.0 | awk -F' ' '{print $6}'"
    p = Popen(cmd, shell=True, stdout=PIPE, stderr=PIPE)
    stdout, stderr = p.communicate()
    data = stdout.strip()
    data = data.split('\n')
    return data

#获取所有请求到第三方Cache节点的用户local DNS。
def getIp():
    ld = []
    data = parserLog()
    for i in data:
        if i.split('#')[0] not in ld:
	    ld.append(i.split('#')[0])
    return ld


#使用多线程和队列技术
#通过开放的API接口，将用户local DNS ip地址传给该API接口，返回用户的归属地信息。
#将所有的归属地信息保存至文件，然后通过第三方方式，将该文件传送到IP 库平台
#通过其它程序进行处理
class ThreadClass(threading.Thread):
    def __init__(self, queue):
        threading.Thread.__init__(self)
        self.queue = queue

    def run(self):
	ld=[]
	dc={}
	dt={}
        while True:
            host = self.queue.get()
	    try:
                data = urllib2.urlopen('http://ip.taobao.com/service/getIpInfo.php?ip=%s' % host).read() 	
		with open('dns.txt', 'a') as fd:
		    fd.write(data+'\n')                                                                             
  		                                                                                       
		time.sleep(1)
                self.queue.task_done()                                                                  	
	    except:
	        pass
	
def main():
    queue = Queue()
    for i in range(15):
        t = ThreadClass(queue)
        t.setDaemon(True)
        t.start()

    hosts = getIp()
    for host in hosts:
        queue.put(host)

    queue.join()


if __name__ == "__main__":
    st = time.time()
    main()
    print '%f'%(time.time()-st)

    定期执行该脚本，收集用户Local DNS并查询归属地。然后发送到ip库管理平台对该信息进行格式化和比较，最后入库。

关键字：