[Из песочницы] Автоматизация ip-сети с помощью подручных инструментов (Python)30.07.2015 17:03

#!/usr/local/bin/python3.3
## -*- coding: koi8-r -*-

### Импортируются необходимые библиотеки
import paramiko
import time
import datetime
import sys
import re
import os
import socket
import base64

### Задаются исходные параметры
user = 'user'
secret= pas = base64.b64decode(b'cGFzc3dvcmQ=').decode('ascii') # совсем не надежно зашифрованный пароль, но хоть что то. Для получения зашифрованного пароля
# необходиом предварительно выполнить base64.b64encode('password'.encode('ascii'))
port = por = 22
host='10.10.10.10'

### используется модуль paramiko для установления соединения получения результата с оборудования:
remote_conn_pre = paramiko.SSHClient()
remote_conn_pre.set_missing_host_key_policy(paramiko.AutoAddPolicy()) ### всегда доверяется SHA ключам
remote_conn_pre.connect(hostname=host, username=user, password=pas, port=por, timeout=90) ### устанавливается соединение используя заданные параметры
remote_conn = remote_conn_pre.invoke_shell() ### сессия постоянно поддерживается до принудительного завершения, либо по истечении времени жизни
remote_conn.settimeout(20) ### через 20 sec при отсутствии активности сессия будет разорвана
remote_conn.send ('\n') ### 'Enter' для проверки работоспособности
time.sleep(1) ### приостановка выполнения скрипта на 1 секунду
check=remote_conn.recv(2048) ### чтение данных с консоли не более 2048 байт
print(check.decode('ascii')) ### печать вывода консоли. Добавление .decode('ascii') позволяет выполнить вывод в удобочитабельном виде. При повторном использовании,
# данную строку целесообразно закомментировать (поставив впереди #)
remote_conn.send ('show route protocol bgp table inet.0 active-path | no-more' + '\n') ### Основной запрос, плюс 'Enter'
def while_not_end_plus_recive(): ### def - функция выполняемая по запросу, позволяет дождаться окончания выполнения запроса и запись результата
        buff = b'' ### перед дельнейшим изменение значения, переменная должна быть изначально задана.
        resp1=b''
        while not buff.endswith(b'0> '): ### цикл while выполняется до наличия в выводе значения 0> в консоли
                resp = remote_conn.recv(12002048)
                buff += resp ### увеличивается значение buff на значение resp в цикле
                print ('!', end='',  flush=True) ### выводится индикатор выполнения цикла, для понимания факта выполнения, так вывод таблицы на экран занимает продолжительное время
        return buff ### возвращается значение функции, с выводом всех значений при повторении цикла While
check=str(while_not_end_plus_recive()) ### запускается вышеописанная функция с присвоением значения переменной check, переводим значение переменной в строковый
# тип данных str()
print('\n') ### выводится для более наглядного отображения результата в конце
remote_conn_pre.close() ### SSH сессия с оборудованием больше не требуется.

### Записывается результат в файл для возможного пост анализа во временной перспективе, обрабатываются данные с оборудования:
timestr = time.strftime("%d%m%Y") ### переменная, отображающая текущую дату, для дальнейшего использования в названии файла
log_out=open('/usr/SCRIPTS_FOR_PYTHON/route_tables/route_table_'+timestr+'.txt', 'w') ### создается и открывается файл в указанной директории
log_out.write(check) ### записывается в файл ранее полученный вывод
log_out.close() ### закрывается файл, так как он открыт для записи
log_out=open('/usr/SCRIPTS_FOR_PYTHON/route_tables/route_table_'+timestr+'.txt', 'r') ### открывается созданный файл для чтения. Возможно также использовать переменную check.
data=log_out.read() ### считываются данные с файла для дальнейшей обработки.
log_out.close()

### вывод с оборудования представляет собой блоки данных для каждого ip префикса. Для работы с каждым блоком в отдельности, необходимо разбить переменную data на список состоящий из
# строковых значений. ключом для разбиения служит слово 'BGP'
comp=re.compile('BGP') ### при помощи модуля регулярных выражений re, создается шаблон для разбиения с использованием объекта comp.
split_out=comp.split(data)### разбиение вывода данных
### задаются начальные значения переменных, необходимых для получения результата:
prefixes_1_as_uplink=0
prefixes_2_as_uplink=0
prefixes_3_as_uplink=0
prefixes_4_as_uplink=0
prefixes_more_then_4_as_uplink=0
prefixes_1_as_IX=0
prefixes_2_as_IX=0
prefixes_3_as_IX=0
prefixes_4_as_IX=0
prefixes_more_then_4_as_IX=0
prefixes_1_as_peer=0
prefixes_2_as_peer=0
prefixes_3_as_peer=0
prefixes_4_as_peer=0
prefixes_more_then_4_as_peer=0
prefixes_1_as_client=0
prefixes_2_as_client=0
prefixes_3_as_client=0
prefixes_4_as_client=0
prefixes_more_then_4_as_client=0
own_as_prefixes=0
other_prefixes=0

### Для обработки результата используется цикл for, выполняемый для каждого значения списка i диапазона значений split_out:
for i in range(len(split_out)):
        if len(re.findall('localpref 150',str(split_out[i])))==1: ### Цикл if для каждого значения списка i, выполняемого циклом for, определяет
        #значения LP относящиеся к префиксу полученному с Uplink
                count_as_from_uplink_pre=re.findall(r'AS path:([^]]*), val', split_out[i]) ### Для префиксов Uplink, определятся список состоящий из транзитных AS BGP
                count_as_from_uplink=re.findall(r'[\d]+', str(count_as_from_uplink_pre)) ### продолжение определения списка из транзитных AS BGP
                if len(set(count_as_from_uplink))==1: ### Для определенного списка транзитных AS BGP, в зависимости от длинны списка, увеличивается счетчик значения переменной
                        prefixes_1_as_uplink = prefixes_1_as_uplink + 1
                if len(set(count_as_from_uplink))==2:
                        prefixes_2_as_uplink = prefixes_2_as_uplink + 1
                if len(set(count_as_from_uplink))==3:
                        prefixes_3_as_uplink = prefixes_3_as_uplink + 1
                if len(set(count_as_from_uplink))==4:
                        prefixes_4_as_uplink = prefixes_4_as_uplink + 1
                if len(set(count_as_from_uplink))>4:
                        prefixes_more_then_4_as_uplink = prefixes_more_then_4_as_uplink + 1
                else:
                        pass
        elif len(re.findall('localpref 170|localpref 175',str(split_out[i])))==1: ### Цикл if для каждого значения списка i, выполняемого циклом for, определяет
        #значения LP относящиеся к префиксу полученному с IX. Следует отметить, что в данном случае LP может принимать больше 1 значения.
                count_as_from_IX_pre=re.findall(r'AS path:([^]]*), val', split_out[i])
                count_as_from_IX=re.findall(r'[\d]+', str(count_as_from_IX_pre))
                if len(set(count_as_from_IX))==1:
                        prefixes_1_as_IX = prefixes_1_as_IX + 1
                if len(set(count_as_from_IX))==2:
                        prefixes_2_as_IX = prefixes_2_as_IX + 1
                if len(set(count_as_from_IX))==3:
                        prefixes_3_as_IX = prefixes_3_as_IX + 1
                if len(set(count_as_from_IX))==4:
                        prefixes_4_as_IX = prefixes_4_as_IX + 1
                if len(set(count_as_from_IX))>4:
                        prefixes_more_then_4_as_IX = prefixes_more_then_4_as_IX + 1
                else:
                        pass
        elif len(re.findall('localpref 180',str(split_out[i])))==1: ### Цикл if для каждого значения списка i, выполняемого циклом for, определяет
        #значения LP относящиеся к префиксу полученному с Peer.
                count_as_from_peer_pre=re.findall(r'AS path:([^]]*), val', split_out[i])
                count_as_from_peer=re.findall(r'[\d]+', str(count_as_from_peer_pre))
                if len(set(count_as_from_peer))==1:
                        prefixes_1_as_peer = prefixes_1_as_peer + 1
                if len(set(count_as_from_peer))==2:
                        prefixes_2_as_peer = prefixes_2_as_peer + 1
                if len(set(count_as_from_peer))==3:
                        prefixes_3_as_peer = prefixes_3_as_peer + 1
                if len(set(count_as_from_peer))==4:
                        prefixes_4_as_peer = prefixes_4_as_peer + 1
                if len(set(count_as_from_peer))>4:
                        prefixes_more_then_4_as_peer = prefixes_more_then_4_as_peer + 1
                else:
                        pass
        elif len(re.findall('localpref 200|localpref 190',str(split_out[i])))==1: ### Цикл if для каждого значения списка i, выполняемого циклом for, определяет
        #значения LP относящиеся к префиксу, полученному с Clients.
                count_as_from_client_pre=re.findall(r'AS path:([^]]*), val', split_out[i])
                count_as_from_client=re.findall(r'[\d]+', str(count_as_from_client_pre))
                if len(set(count_as_from_client))==1:
                        prefixes_1_as_client = prefixes_1_as_client + 1
                if len(set(count_as_from_client))==2:
                        prefixes_2_as_client = prefixes_2_as_client + 1
                if len(set(count_as_from_client))==3:
                        prefixes_3_as_client = prefixes_3_as_client + 1
                if len(set(count_as_from_client))==4:
                        prefixes_4_as_client = prefixes_4_as_client + 1
                if len(set(count_as_from_client))>4:
                        prefixes_more_then_4_as_client = prefixes_more_then_4_as_client + 1
                if count_as_from_client==[]:
                        own_as_prefixes= own_as_prefixes + 1
                else:
                        pass
        else:
                other_prefixes=other_prefixes + 1

### Вывод полученных результатов:
print('prefixes_1_as_uplink: '+str(prefixes_1_as_uplink))
print('prefixes_2_as_uplink: '+str(prefixes_2_as_uplink))
print('prefixes_3_as_uplink: '+str(prefixes_3_as_uplink))
print('prefixes_4_as_uplink: '+str(prefixes_4_as_uplink))
print('prefixes_more_then_4_as_uplink: '+str(prefixes_more_then_4_as_uplink))
print('all_uplink_prefixes: '+str(prefixes_1_as_uplink+prefixes_2_as_uplink+prefixes_3_as_uplink+prefixes_4_as_uplink+prefixes_more_then_4_as_uplink)+'\n')

print('prefixes_1_as_IX: '+str(prefixes_1_as_IX))
print('prefixes_2_as_IX: '+str(prefixes_2_as_IX))
print('prefixes_3_as_IX: '+str(prefixes_3_as_IX))
print('prefixes_4_as_IX: '+str(prefixes_4_as_IX))
print('prefixes_more_then_4_as_IX: '+str(prefixes_more_then_4_as_IX))
print('all_IX_prefixes: '+str(prefixes_1_as_IX+prefixes_2_as_IX+prefixes_3_as_IX+prefixes_4_as_IX+prefixes_more_then_4_as_IX)+'\n')

print('prefixes_1_as_peer: '+str(prefixes_1_as_peer))
print('prefixes_2_as_peer: '+str(prefixes_2_as_peer))
print('prefixes_3_as_peer: '+str(prefixes_3_as_peer))
print('prefixes_4_as_peer: '+str(prefixes_4_as_peer))
print('prefixes_more_then_4_as_peer: '+str(prefixes_more_then_4_as_peer))
print('all_peer_prefixes: '+str(prefixes_1_as_peer+prefixes_2_as_peer+prefixes_3_as_peer+prefixes_4_as_peer+prefixes_more_then_4_as_peer)+'\n')

print('prefixes_1_as_client: '+str(prefixes_1_as_client))
print('prefixes_2_as_client: '+str(prefixes_2_as_client))
print('prefixes_3_as_client: '+str(prefixes_3_as_client))
print('prefixes_4_as_client: '+str(prefixes_4_as_client))
print('prefixes_more_then_4_as_client: '+str(prefixes_more_then_4_as_client))
print('all_client_prefixes: '+str(prefixes_1_as_client+prefixes_2_as_client+prefixes_3_as_client+prefixes_4_as_client+prefixes_more_then_4_as_client)+'\n')

print('own_as_prefixes: '+str(own_as_prefixes))
print('other_prefixes: '+str(other_prefixes))

#!/usr/local/bin/python3.3
## -*- coding: koi8-r -*-
import paramiko
import time
import datetime
import sys
import re
import os
import socket
import subprocess
import random
import cgi
import cgitb
import base64

host='10.10.10.10'
user='user'
pas= base64.b64decode(b'cGFzc3dvcmQ=').decode('ascii')
por=22

def log( message): ### Для возможности отслеживания работы ПО, создается функция для логирования результата
        log_out1=open('/usr/SCRIPTS_FOR_PYTHON/speed_log.txt', 'a') ### файл открывается на запись в конец файла
        log_out1.write(str(datetime.datetime.now()) + ':'+ str(message) + '\n') ### Шаблон сообщения с датой и временем
        log_out1.close()
        pass

def while_not_end_plus_recive(): ### Функция для ожидания выполнения команд на оборудовании записи результата
        buff = b''
        resp1=b''
        try: ### конструкция позволяющая обработать ошибки, в данном случае программа попытается выполнить цикл While
                while not buff.endswith(b'#'):
                        resp = remote_conn.recv(12002048)
                        buff += resp
        except socket.timeout: ### Если выполнение цикла приведет к ошибке, ПО при помощи функции LOG запишет соответствующее сообщение в файл и программа закроется
                log('Device did not respond')
                sys.exit()
        return buff

### Первая часть ПО, находит утилизацию выбранного интерфейса. Утилизацию возможно найти двумя способами:
#1.  Наиболее часто встречающийся способ получения значения утилизации происходит посредством получения информации по SNMP протоколу.
#2.  Возможно также получить утилизацию, обработав вывод команды маршрутизатора 'sh int ge-1/1/1 | include output' (в зависимости от версии вывод может немного меняться)
# Рассмотрим оба варианта по порядку, при этом второй вариант будет закомментирован, так как первый вариант наиболее предпочтителен по мнению автора.
#3. Получение информации о загрузке интерфейса с внешней системы, в данной статье рассматриваться не будет.

### Использование SNMP. Для взаимодействия по SNMP будет использоваться сторонняя утилита NET_SNMP, запускаемая из-под скрипта Python
in_rate=open('/usr/SCRIPTS_FOR_PYTHON/test_rate.txt', 'w') ### Создается файл для записи результата
### Далее запускается внешний процесс с необходимым snmp параметрами OID ifHCOutOctets и ifName интерфейса
subprocess.call(['snmpwalk -v2c -c TEST 10.222.0.177 1.3.6.1.2.1.31.1.1.1.10.10201'], bufsize=0, shell=True, stdout=(in_rate))
in_rate.close()
f=open('/usr/SCRIPTS_FOR_PYTHON/test_rate.txt', 'r')
inrate1_pre=f.read() ### записывается первое значение для последующего расчета скорости
f.close()
time.sleep(60) ### Выполнение программы приостанавливается до следующего замера через минуту
in_rate=open('/usr/SCRIPTS_FOR_PYTHON/test_rate.txt', 'w') # создается файл для записи результата
subprocess.call(['snmpwalk -v2c -c TEST 10.222.0.177 1.3.6.1.2.1.31.1.1.1.10.10201'], bufsize=0, shell=True, stdout=(in_rate))
in_rate.close()
f=open('/usr/SCRIPTS_FOR_PYTHON/test_rate.txt', 'r')
inrate2_pre=f.read()### записывается второе значение для последующего расчета скорости
f.close()
inrate1=re.findall('[\d]+', str(re.findall(': [\d]+', inrate1_pre))) ### выводы обрабатываются для получения цифр
inrate2=re.findall('[\d]+', str(re.findall(': [\d]+', inrate2_pre)))
rate=(int(inrate2[0])-int(inrate1[0]))*8/60 ### рассчитывается скорость трафика на интерфейсе

### обработка вывода данных с маршрутизатора (закоментировано). Приводится как пример обработки при успешном подключении к маршрутизатору.
# В работе программы не участвует
#input_rate_recv=str(remote_conn.send('show interface ge-1/1/1/ | include input\n'))
#input_rate_recv_out=while_not_end_plus_recive()
#output_rate_recv=str(remote_conn.send('show interface ge-1/1/1/ | include output\n'))
#output_rate_recv_out=while_not_end_plus_recive()
#input_rate_search_pre=str(re.findall('[\d]+' + bps, input_rate_recv_out))
#input_rate_search=re.findall('[\d]+', input_rate_search_pre)
#input_rate=''.join(input_rate_search)
#output_rate_search_pre=str(re.findall('[\d]+' + bps, output_rate_recv_out))
#output_rate_search=re.findall('[\d]+', output_rate_search_pre)
#output_rate=''.join(output_rate_search)


if rate>9000000000: # получив скорость утилизации порта, проверяется на наличие условия превышения заданного порога
        remote_conn_pre = paramiko.SSHClient()### Если порог превышен, происходит подключение к оборудованию по SSH
        remote_conn_pre.set_missing_host_key_policy(paramiko.AutoAddPolicy())
        remote_conn_pre.connect(hostname=host, username=user, password=pas, port=por, timeout=90)
        remote_conn = remote_conn_pre.invoke_shell()
        remote_conn.settimeout(90)
        remote_conn.send('sh running-config partition route-map | section include FROM-TEST-POLICY'+'\n'+'\n') ### выполняется команда, для проверки политики
        check=while_not_end_plus_recive()### записывается результат для обработки
        print (check)
        check_policy=re.findall('65000:1', str(check)) ### проверка на наличие community
        print (str(check_policy))
        if check_policy==['65000:1']: ### Если найдено BGP community которое должно быть применено, программа закрывается. Это предохранитель от циклической перезаписи
                remote_conn_pre.close()
                log('Policy already_changed') ### результат логируется
                sys.exit()
        else: ### если значение не найдено, происходит дальнейшее выполнение программы
                pass
        remote_conn.send('conf t'+'\n') ### вход в конфигурационный режим и выполнение изменений
        while_not_end_plus_recive()
        remote_conn.send('route-map FROM-TEST-POLICY permit 10'+'\n')
        while_not_end_plus_recive()
        remote_conn.send('no set community'+'\n')
        while_not_end_plus_recive()
        remote_conn.send('set community 65000:1 additive'+'\n')
        while_not_end_plus_recive()
        remote_conn.send('exit'+'\n')
        while_not_end_plus_recive()
        remote_conn.send('exit'+'\n')
        while_not_end_plus_recive()
        remote_conn.send('exit'+'\n')
        log('Policy has been changed') ### результат логируется
        remote_conn_pre.close()
        time.sleep(3600) ### выполнение программы приостанавливается на промежуток времени при котором возможно генерация большого количества трафика уменьшится.
        # Для того чтобы промежуток динамически изменялся, можно написать код индикатора связанный с генератором контента (в данном примере не рассматривается)
        ### По истечении срока, происходит возврат конфигурации
        remote_conn_pre.connect(hostname=host, username=user, password=pas, port=por, timeout=90)
        remote_conn = remote_conn_pre.invoke_shell()
        remote_conn.settimeout(780)
        remote_conn.send('sh running-config partition route-map | section include FROM-TEST-POLICY'+'\n'+'\n') ### проверка на возможный откат до завершения скрипта
        check=while_not_end_plus_recive()
        check_policy=re.findall('65000:2', str(check))
        if check_policy==['65000:2']:
                remote_conn_pre.close()
                log('Policy already rewert') ### результат логируется
                sys.exit()
        else:
                pass
        remote_conn.send('conf t'+'\n'+'\n')
        while_not_end_plus_recive()
        remote_conn.send('route-map FROM-TEST-POLICY permit 10'+'\n')
        while_not_end_plus_recive()
        remote_conn.send('no set community'+'\n')
        while_not_end_plus_recive()
        remote_conn.send('set community 65000:2 additive'+'\n'+'\n')
        while_not_end_plus_recive()
        remote_conn.send('exit'+'\n')
        while_not_end_plus_recive()
        remote_conn.send('exit'+'\n')
        while_not_end_plus_recive()
        remote_conn.send('exit'+'\n')
        log('Policy has been rewerted') ### результат логируется
        remote_conn_pre.close()
        time.sleep(2)
else:
        pass

 

 
IP Loopback:
 


AS-SET name:
 


 









Список функциональных ссылок:

Здесь Вы можете посмотреть маршрутизаторы и AS-SETs участвующие в автообновлении по AS-PATH:

Конфигурационный файл фильтров по AS-PATH




История обновлений находится здесь:

Журнал обновлений





 Обновления проводит Fibber - многофункциональный Бот для частичной автоматизации управления сетью 

#!/usr/local/bin/python3.3
# -*- coding: koi8-r -*-
import cgi
import bd_host_and_aspath ### Импортируется модуль со списком данных о маршрутизаторах и as-set
data=bd_host_and_aspath.all_data() ### присваивается значение переменной

print ("Content-type:text/html\r\n\r\n") ### форма для вывода данных в Web
print ('Back to main page

') ### ссылка для возврата в главное меню
print ('Num.-- [ROUTER LOOPBACK, AS-SET]', end='

')
for k in data: ### печать элементов списка в заданной форме.
        print(str(data.index(k))+'--') ### печать номера элемента списка
        print(k, end='
')

print ('
') ### форма для удаления элемента списка, при вводе номера элемента и нажатия кнопки remove запускается скрипт.
print ('
------REMOVE DATA--------
')
print ('
Enter Number of position for removing data:
')
print ('

')