2019年5月自己在自己的知乎专栏写了一篇文章《弈心:网络工程师的Python之路----MySQL篇》,向网工读者们介绍了怎样使用MySQL来为网络设备建库的一些基本操作和用法,文末提到自己将会更新文章向大家讲解如何使用Python来为现网设备自动完成建库,结果这一拖就是一年半,期间有很多读者催更,奈何平时写书、学习、工作实在太忙,今天总算有时间把这个大坑给填上。
因为去年笔者用的虚拟机是CentOS 7 Python 2,而目前使用的版本为CentOS 8和Python 3,MySQL和MySQLdb模块的安装方法在这两个版本的操作系统和Python里有很大区别,因此本文分将分为四个部分,第一部分介绍MySQL在CentOS 8里的安装以及MySQLdb模块在Python3.6版本的下载和安装方法。第二部分将直接引用去年的文章再次讲解一次MySQL的基础内容,第三部分将给出MySQLdb的代码讲解MySQLdb模块的使用方法,第四部分则会结合一个实际案例来讲解如何让Python替我们自动登录、扫描现网里的所有交换机,并完成设备信息自动入库的方法。废话不多说,下面直接进入正题。
第一部分:MySQL 8.0安装步骤在CentOS 8里,MySQL8.0版本已经可以在系统默认的repository下直接下载了,命令如下:dnf install mysql-server
2. 安装完成后启用mysqld服务,并查看mysqld服务当前的状态。
systemctl start mysqld.servicesystemctl status mysqld
3. 在确认mysqld的状态为active(running)后,即可输入命令mysql -u root进入mysql
mysql -u root
Python针对MySQL的第三方库叫做MySQLdb。在CENTOS 8中,Python3的MySQLdb模块的下载比较特别,不能直接用pip3.8 install MySQLdb或者pip3.8 install mysqlclient来下载。正确的下载方法如下:
首先安装EPEL源:yum install epel-release
2. 然后再通过下面的dnf命令来安装Python3的MySQLdb
dnf --enablerepo=epel-testing install python3-mysqlclient
3. 这种方法安装出来的MySQLdb只能在Centos 8中内置的Python 3.6.8上运行,在Python 3.8.2中依然无法导入MySQLdb,目前笔者还没有找到在Python3.8中安装MySQLdb的方法,如果知道的读者欢迎在评论区留言告知。
注:为了更好的完善本文的内容,第二部分内容转载自我去年写的专栏文章《弈心:网络工程师的Python之路----MySQL篇》
登录MySQL
5.7以下版本的MySQL默认root账户不需要密码就能使用,因此如果你使用命令mysql -u root -p来登录的话,反而会收到ERROR 1045错误:
这时去掉参数-p,直接使用命令mysql -u root就能进入MySQL。
不过出于最基本的安全考虑,还是建议使用命令mysqladmin -u root password [password]来为root账户设置一个密码,设置好密码后,再用命令mysql -u root -p来登录mysql。
进入MySQL后,首先创建一个名为NetMon的数据库,方法为在mysql>提示符后输入命令create database NetMon; 注意末尾的分号‘;’不能省略2. 使用命令show databases;来查看数据库列表(依然不要忘记命令末尾的分号)。这里可以看到除了我们创建的NetMon数据库外,还有information_schema、mysql、performance_schema等另外3个MySQL自带的数据库,了解即可,不用理会它们。
3. 使用命令use NetMon;来调用NetMon数据库,如果收到'Database changed'这个提示则说明数据库调用成功。
4. 调用数据库后,接下来需要在该数据库中创建数据表(table),在MySQL中创建数据表的基本命令如下:
CREATE TABLE table_name (column_name column_type);
其中CREATE TABLE为创建数据表的命令,这里将其写作大写是为了和后面用户自定义的数据表名(table_name)做区分,实际操作中CREATE TABLE这个命令用大小写都没问题(下同)。后面的column_name为数据列名字,column_type为数据列类型。
这里我们将要创建两个数据表,分别命名为Cisco_2960和Cisco_3750,每个数据表下面又各自含有Hostname, IPAddr, MACAddr, IOSVersion, SerialNo总共5个数据列(column),实验中的数据表创建命令如下(初学者可以复制粘贴下面的命令):
create table Cisco_2960(Hostname VARCHAr(30), IPAddr VARCHAr(15), MACAddr VARCHAr(20) PRIMARY KEY, IOSVersion VARCHAr(20), SerialNo VARCHAr(30));
数据表创建成功后会收到类似"Query OK, 0 rows affected (0.04 sec)"的提示
这里简单讲下VARCHAR和PRIMARY KEY这两个列类型,前者定义列长度,最大为65535, 比如Hostname VARCHAr(30),表明支持的交换机名的长度最大为30个字符,IPAddr VARCHAr(15),表明支持的IP地址最大为15个字符。有MySQL基础的应该知道CHAR, VARCHAR, Text三者间的差别,这里不做详细介绍,不清楚的网工读者可以自行延伸学习一下。
而PRIMARY KEY(主键)则是用来唯一标识数据表中某一列的属性或属性组。需要记住三点: 一个数据表中只能有一个主键,主键值不能为空 (NOT NULL),主键必须包含唯一值,因为MAC地址的唯一性,因此这里我们将主键给了MACAddr这个列(MACAddr VARCHAr(20) PRIMARY KEY)。
5. 创建好数据表后,我们可以使用命令show tables;来查看NetMon数据库下现有的数据表
show tables;
6. 然后再用describe命令来查看数据表里具体包含的列名和列类型。
describe Cisco_2960;
这里可以看到我们在数据表Cisco_2960中创建了5个列,其中主键分配给了MACAddr这个列。
7. 创建好数据表和列后,下面我们可以使用insert into命令来手动向数据表中插入数据了。
insert into Cisco_2960(Hostname, IPAddr, MACAddr, IOSVersion, SerialNo) values('SW1', '10.10.10.1', '12:34:56:AB:CD:EF', '12.2(55)SE12', 'XXXXXXXXXXX');
这里我们向数据表Cisco_2960插入了一个Hostname为'SW1', IPAddr为'10.10.10.1',MACAddr为'12:34:56:AB:CD:EF', IOSVersion为'12.2(55)SE12',SerialNo为'XXXXXXXXXXX'的数据。
接下来我们再次向数据表Cisco_2960中插入另外一组数据(SW2),这里我故意把SW2的MAC地址设为和SW1一样(12:34:56:AB:CD:EF),来看下会发生什么:
insert into Cisco_2960(Hostname, IPAddr, MACAddr, IOSVersion, SerialNo) values('SW2', '10.10.10.2', '12:34:56:AB:CD:EF', '12.2(55)SE12', 'YYYYYYYYYYY');
看到这里的Duplicate entry '12:34:56:AB:CD:EF' for key 'PRIMARY'的报错了吗?前面提到了,我们将主键给了MACAddr这个列,因此该列下的数据不可以有重复项!将SW2的MAC地址修改为11:22:33:AA:BB:CC重新插入数据成功。
insert into Cisco_2960(Hostname, IPAddr, MACAddr, IOSVersion, SerialNo) values('SW2', '10.10.10.2', '11:22:33:AA:BB:CC', '12.2(55)SE12', 'YYYYYYYYYYY');
8. 现在数据表Cisco_2960中已经有了两组数据了,我们可以使用下面的MySQL命令来查看:
SELECt * FROM [table name];
这里我们的table name为Cisco_2960,因此我们可以用命令select * from Cisco_2960; 来查看
9. 除了SELECt * FROM [table name]之外,我们还可以使用命令SELECt * FROM [table name] WHERe来进一步筛选我们想要查找的数据
SELECt * FROM [table name] WHERe
比如我们只想从数据表Cisco_2960中查找Hostname为SW2的交换机的数据,那么可以使用命令SELECt * FROM Cisco_2960 WHERe Hostname = 'SW2';来实现
10. 回到本文开篇提到的“在思科设备数量上千台的大型网络中,如果高层领导问你我们的交换机有多少种IOS版本?每个IOS版本各自对应多少台交换机?"问题,为了演示如何用MySQL来快速回答这个问题,接下来我们再向数据表Cisco_2960中插入一组数据(SW3),SW3和SW1,SW2的区别在于它的IOS版本为12.2(55)SE10,而后两者为SE12。
insert into Cisco_2960(Hostname, IPAddr, MACAddr, IOSVersion, SerialNo) values('SW3', '10.10.10.3', '44:55:66:DD:EE:FF', '12.2(55)SE10', 'ZZZZZZZZZZZ');
接下来我们可以使用MySQL中的count()函数和group by语法来实现这个要求,count()函数用来返回数据表中的行数,group by则是根据给定数据列的每个成员对查询结果进行分组统计,将两者结合起来使用即能回答“交换机有多少种IOS版本?每个IOS版本各自对应多少台交换机?”这个问题。命令如下:
select IOSVersion, COUNT(IOSVersion) from Cisco_2960 group by IOSVersion;
这里可以看到IOS版本为12.2(55)SE10的设备数有1台(即SW3),12.2(55)SE12的设备数有2台(即SW1和SW2)。
11. 如果领导又问你是哪两台交换机的IOS版本为12.2(55)SE12, 它们的Hostname和IP地址是多少?这时可以用下面的命令做查询:
select Hostname,IPAddr from Cisco_2960 where IOSVersion= '12.2(55)SE12';
是不是很方便?
12. 如果你想为数据表中加入新的数据列,比如我们想添加一个名为Location的列来记录交换机所在的物理位置,可以用下面的MySQL命令实现:
alter table Cisco_2960 add column Location VARCHAr(20);
添加了新的数据列后,该数据列的值均为NULL,
这时我们需要使用MySQL中的UPDATe, SET, WHERe几个语句来为新增列添加数据,这里假设SW1在Building 1,SW2在Builiding 2,SW3在Building 3,命令如下:
update Cisco_2960 set Location = 'Building 1' where Hostname = 'SW1'; update Cisco_2960 set Location = 'Building 2' where Hostname = 'SW2'; update Cisco_2960 set Location = 'Building 3' where Hostname = 'SW3';
再次查看数据表,新增的Location数据列里的数据已经添加完毕:
13 (optional). 有时也会碰到某台设备因各种因素不再使用,需要从数据库中删除的情况,这里我们可以使用MySQL中的DELETE, WHERe语句来完成,举例如下,比如这里我们想要删除SW3这台设备:
delete from Cisco_2960 where Hostname = 'SW3';
14 (optional). 如果想删除数据列,比如刚才添加的Location,可以使用MySQL中的ALTER,DROp语句来完成,举例如下:
alter table Devices drop column Location;
15. 最后所有操作完成后,记得使用commit;命令来保存配置:
commit;
如果你熟练掌握了第二部分的关于MySQL的一些基本操作,那么MySQLdb模块的使用就很简单、直观了,第三部分将直接给出使用MySQLdb的脚本然后配合代码讲解。
代码如下:
import MySQLdb as mdbfrom getpass import getpasssql_host = "localhost"sql_username = input('Enter SQL username: ')sql_password = getpass('Enter SQL password: ')sql_connection = mdb.connect(sql_host,sql_username,sql_password)cursor = sql_connection.cursor()cursor.execute('drop database NetMon')cursor.execute('create database test')cursor.execute("use test")cursor.execute("create table Devices (Hostname VARCHAr(30), MACAddr VARCHAr(20) PRIMARY KEY, Vendor VARCHAr(10), Model VARCHAr(20), IOSVersion VARCHAr(20), SerialNo VARCHAr(30))")cursor.execute("insert into Devices(Hostname, MACAddr, Vendor, Model, IOSVersion, SerialNo) values('AS-2960-EC3-G-3630', '00:23:34:2A:F6:00', 'Cisco', ' WS-C2960-24PC-L', '12.2(55)SE12', 'FOC1236Z17C')")cursor.execute("select * from Devices")output = cursor.fetchone()print (output)output = cursor.fetchall()print (output)sql_connection.commit()sql_connection.close()
代码分段讲解如下:
通过import MySQLdb as mdb导入MySQLdb模块并将它简写为mdb后,我们需要定义三个变量来作为登录MySQL的三个参数,分别为sql_host, sql_username, sql_password,因为MySQL是在我们主机上本地运行的,所以这里sql_host设为localhost,sql_username和sql_password的话则通过input()和getpass()交互式获取。随后调用MySQLdb的connect()函数,将三个变量作为参数放入,并赋值给变量sql_connection,至此已经登录MySQL的操作即告完成。import MySQLdb as mdbfrom getpass import getpasssql_host = "localhost"sql_username = input('Enter SQL username: ')sql_password = getpass('Enter SQL password: ')sql_connection = mdb.connect(sql_host,sql_username,sql_password)
cursor = sql_connection.cursor()cursor.execute('drop database NetMon')cursor.execute('create database test')cursor.execute("use test")cursor.execute("create table Devices (Hostname VARCHAr(30), MACAddr VARCHAr(20) PRIMARY KEY, Vendor VARCHAr(10), Model VARCHAr(20), IOSVersion VARCHAr(20), SerialNo VARCHAr(30))")cursor.execute("insert into Devices(Hostname, MACAddr, Vendor, Model, IOSVersion, SerialNo) values('AS-2960-EC3-G-3630', '00:23:34:2A:F6:00', 'Cisco', ' WS-C2960-24PC-L', '12.2(55)SE12', 'FOC1236Z17C')")cursor.execute("select * from Devices")
output = cursor.fetchone()print (output)output = cursor.fetchall()print (output)
sql_connection.commit()sql_connection.close()
这部分将给出实战案例,演示如何使用MySQLdb Paramiko通过SSH登录现网的三台思科2960交换机,然后配合正则表达式做解析,抓取这三台交换机的hostname、IP地址、MAC地址、序列号、IOS版本、设备所在地的地址,然后通过MySQLdb为抓取到的这三台交换机的信息建库,三台交换机的IP地址已经提前写入名为ip_list.txt的文本文件中。
案例代码:
import reimport paramikoimport timeimport MySQLdb as mdbfrom getpass import getpasssql_host = "localhost"sql_username = input('Enter MySQL username: ')sql_password = getpass('Enter MySQL password: ')switch_username = input('Enter switch username: ')switch_password = getpass('Enter switch password: ')sql_connection = mdb.connect(sql_host,sql_username,sql_password)cursor = sql_connection.cursor()cursor.execute("create database if not exists Cisco_2960")cursor.execute("use Cisco_2960")cursor.execute("create table if not exists Devices (Hostname VARCHAr(30), IPAddr VARCHAr(20), MACAddr VARCHAr(20) PRIMARY KEY, IOSVersion VARCHAr(20), SerialNo VARCHAr(30), Location VARCHAr(20))")f = open("ip_list.txt","r ")for line in f.readlines(): ip_address = line.strip() ssh_client = paramiko.SSHClient() ssh_client.set_missing_host_key_policy(paramiko.AutoAddPolicy()) ssh_client.connect(hostname=ip_address,username=switch_username,password=switch_password) print ("已经成功登录交换机 ", ip_address) command = ssh_client.invoke_shell() command.send("term len 0\n") command.send("show ver\n") time.sleep(1) output = command.recv(65535).decode('ascii') hostname = re.search(r"\w{2,3}-\w{2,5}-\w{3,4}-\w{1,5}-?\w{2,5}-?\w{1,4}-\w{1,4}", output) macadd = re.search(r"\w{2}:\w{2}:\w{2}:\w{2}:\w{2}:\w{2}", output) iosversion = re.search(r"\d{2}\.\d\(\d{1,2}\)\w{2,4}", output) command.send("show ver | i System serial\n") time.sleep(1) output = command.recv(65535).decode('ascii') serialno = re.search(r"\w{11}", output) command.send("show run int vlan 3999\n") time.sleep(1) output = command.recv(65535).decode('ascii') ipaddr = re.search(r"\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}", output) command.send("show snmp location\n") time.sleep(1) output = command.recv(65535).decode('ascii') location = re.search(r"\w{5,6}-\w{2}-\w{2}-\w{2}", output) cursor.execute("insert into Devices (Hostname, IPAddr, MACAddr, IOSVersion, SerialNo, Location) values(%s,%s,%s,%s,%s,%s)",(hostname.group(), ipaddr.group(), macadd.group(), iosversion.group(), serialno.group(), location.group())) sql_connection.commit()f.close()sql_connection.close()ssh_client.close()
代码分段讲解如下:
这里要分别输入两套用户名和密码,一套登录MySQL,一套登录交换机。import reimport paramikoimport timeimport MySQLdb as mdbfrom getpass import getpasssql_host = "localhost"sql_username = input('Enter MySQL username: ')sql_password = getpass('Enter MySQL password: ')switch_username = input('Enter switch username: ')switch_password = getpass('Enter switch password: ')
sql_connection = mdb.connect(sql_host,sql_username,sql_password)cursor = sql_connection.cursor()cursor.execute("create database if not exists Cisco_2960")cursor.execute("use Cisco_2960")cursor.execute("create table if not exists Devices (Hostname VARCHAr(30), IPAddr VARCHAr(20), MACAddr VARCHAr(20) PRIMARY KEY, IOSVersion VARCHAr(20), SerialNo VARCHAr(30), Location VARCHAr(20))")
f = open("ip_list.txt","r ")for line in f.readlines(): ip_address = line.strip() ssh_client = paramiko.SSHClient() ssh_client.set_missing_host_key_policy(paramiko.AutoAddPolicy()) ssh_client.connect(hostname=ip_address,username=switch_username,password=switch_password) print ("已经成功登录交换机 ", ip_address) command = ssh_client.invoke_shell() command.send("term len 0\n") command.send("show ver\n") time.sleep(1) output = command.recv(65535).decode('ascii') hostname = re.search(r"\w{2,3}-\w{2,5}-\w{3,4}-\w{1,5}-?\w{2,5}-?\w{1,4}-\w{1,4}", output) macadd = re.search(r"\w{2}:\w{2}:\w{2}:\w{2}:\w{2}:\w{2}", output) iosversion = re.search(r"\d{2}\.\d\(\d{1,2}\)\w{2,4}", output) command.send("show ver | i System serial\n") time.sleep(1) output = command.recv(65535).decode('ascii') serialno = re.search(r"\w{11}", output) command.send("show run int vlan 3999\n") time.sleep(1) output = command.recv(65535).decode('ascii') ipaddr = re.search(r"\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}", output) command.send("show snmp location\n") time.sleep(1) output = command.recv(65535).decode('ascii') location = re.search(r"\w{5,6}-\w{2}-\w{2}-\w{2}", output) cursor.execute("insert into Devices (Hostname, IPAddr, MACAddr, IOSVersion, SerialNo, Location) values(%s,%s,%s,%s,%s,%s)",(hostname.group(), ipaddr.group(), macadd.group(), iosversion.group(), serialno.group(), location.group())) sql_connection.commit()f.close()sql_connection.close()ssh_client.close()
执行脚本:
然后登录MySQL进行验证:
至此,通过Paramiko MySQLdb re(正则表达式)为上面三个现网中的交换机建库的任务就完成了,用同样的脚本可以完成几千甚者上万台设备的入库工作,只需要在ip_list.txt文件中加入足够多的设备的IP地址即可,当然设备数量越多,某些设备不可达的状况发生的概率自然就越高,读者朋友需要根据自己的情况使用try/except来针对这个情况做异常处理,这个是我书里老生常谈的话题了,这里就不做讲解和演示了。