通过paramiko模块远程抓取日志

最近一直在学习Python,可是工作中一直缺少机会用到这块功能.最近接到一个需求需要拉取6台客户端的某一天jetty日志.因为jetty的日志是保存在jetty的log目录下,以yyyy_mm_dd.stderrout.log的形式保存,所以我们只要创建一个脚本,传入需要查询日志的日期和需要查询日志的主机IP及用户密码,就可以将制定主机的指定日期的日志抓取到本地.

脚本的逻辑并不是很难,先模拟ssh访问指定主机,在指定目录下通过find找到指定文件,将该文件通过sftp或scp将文件传输至本地.通过shell脚本会非常轻松.为了考验自己的Python水平,这次我们通过Python的方式进行实现.主要用到的就是paramiko模块.

paramiko是一个可以连接远程主机及上传下载文件的一个第三方模块,他基于ssh2协议.官网地址是http://www.paramiko.org/,安装的方式非常简单,通过easy_install paramiko或者在pypi中下载安装包安装都可以.

安装完以后,我们通过之前我的那个实际案例来初步了解paramiko的远程连接和文件下载.

[root@Manatee ~]# cat pytest/paramiko
#!/usr/bin/env Python
import paramiko
import sys
import os
loglist = []

#设定一个空列表用于存放日志文件名,因为一台主机中有多个jetty项目,可能同一天会有多个日志.
date = '2016_01_03'
#传入需要查询的日期,这步可以通过参数传入,或者读取配置文件实现
ip = '192.168.0.1'
#传入需要查询的主机IP,这步可以通过参数传入,或者读取配置文件实现
remoteuser = 'xxx'
#传入需要查询的主机用户,这步可以通过参数传入,或者读取配置文件实现
remotepwd = 'xxx'
#传入需要查询的主机密码,这步可以通过参数传入,或者读取配置文件实现
client = paramiko.client.SSHClient()
#创建一个对象,建立一个ssh连接
client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
#允许连接不在know_hosts文件中的主机
client.connect(hostname=ip,username=remoteuser,password=remotepwd)
#连接远程主机
#connect(self, hostname, port=22, username=None, password=None, pkey=None, key_filename=None, timeout=None, allow_agent=True, look_for_keys=True, compress=False, sock=None, gss_auth=False, gss_kex=False, gss_deleg_creds=True, gss_host=None, banner_timeout=None)
#connect可以传入很多参数,我们主要用到的是IP,端口(默认22),用户名,密码
i,o,e = client.exec_command('find /hsdata/ljetty/ -name %s*'%(date))
#在远程执行shell脚本,通过输出流的方式输出stdin,stdout,stderr,本例中通过find命令在指定目录下找到以指定日期开头的文件
loglist = o.readlines()
#[u'/var/log/jettyMYSQL/logs/2016_01_03.stderrout.log\n'] 
#将标准输出的文件读取,赋值给loglist,输出的的每个内容其实是个unicode格式文本,之后使用的过程中需要转换成utf8格式
client.close()
#关闭连接
t = paramiko.Transport((ip,22))
#创建一个对象实例化paramiko.transport
t.connect(username = remoteuser,password = remotepwd)
#连接远程主机
sftp = paramiko.SFTPClient.from_transport(t)
#建立一个sftp对象,通过sshtransport远程操作文件
for i in loglist:
#遍历日志文件列表
    print type(i)
    #unicode
    a = (i.encode('utf-8')).replace('\n','')
    #/var/log/jettyMYSQL/logs/2016_01_03.stderrout.log
    #将之前找到的日志文件名进行处理,转换unicode转换至utf8格式,并去除尾部的\n字符.
    b = a.replace('/','')
    #varlogjettyMYSQLlogs2016_01_03.stderrout.log
    #将完全的路径中的/删除,得到的值作为将要保存在本地的文件名
    if os.path.exists('/tmp/'+ip):
    #判断是否存在以远程主机IP为名字的目录,如果存在,则将文件下载到该目录下,如果不存在,创建目录后将文件下载到该目录下.
        sftp.get(a,'/tmp/'+ip+'/'+b)
    else:
        os.makedirs('/tmp/'+ip)
        sftp.get(a,'/tmp/'+ip+'/'+b)
t.close()

这样我们就完成了简单的远程连接主机执行命令和下载文件的操作.现在只是完成了需求,完全可以将远程主机的IP,用户名,密码写成一个配置文件,读取配置文件进行操作,也可以将命令写成2个函数,调用指定函数完成指定操作.

通过paramiko模块远程抓取日志

相关新闻