От парсера афиши театра на Python до Telegram-бота. Часть 228.03.2019 09:20

Продолжаем историю о разработке Telegram-бота для поиска билетов — HappyTicketsBot, начало можно почитать в первой части.
Во второй расскажу о самом боте, поделюсь кодом, а также идеями, которым скорее всего не суждено стать реальностью. Большая часть функционала к моменту создания бота уже была написана в формате скрипта, поэтому основной задачей стояло наладить интерфейс взаимодействия с пользователем через Telegram-messenger. Получилось не так болтологически, как в 1й части, так что attention — много кода.

Спойлер: HappyTicketsBot так и не улетел крутиться на иностранный сервер, он локальный и русский, но однажды запуск (верю) состоится =)

1. Старт с нуля

Так как опыта в проектировании Telegram-ботов не было от слова совсем, то пришлось начать с базовых статей и tutorials, которых в сети очень много. Да, кстати, что такое back-end на тот момент я тоже плохо представляла)) Самым содержательным и прикладным стал вот этот набор уроков. Модуль, на котором велось взаимодействие с Telegram — pyTelegramBotAPI (github).
Дольше всего заняло освоение идеологии декораторов, про них читала в этой статье. Там в двух частях и очень понятно.

2. Сценарий взаимодействия бота с пользователем. Базовый поиск

Как уже упомянуто в предисловии и 1-й части статьи, почти весь код парсинга был готов. Оставалось изменить способ задания параметров поиска. Исходя из этого и был построен сценарий поведения бота. Команды, доступные для пользователя, ограничиваются следующим набором:

• /Find — начать новый поиск,
• /Reset — сбросить параметры поиска и начать новый,
• /LastSearch — выдает результаты, используя параметры последнего запроса,
• /addURL добавить URL спектакля в интересы для отслеживания снижения цены,
• /checkURL — обновить цены на интересующие спектакли,
• /showURL — вывести все URL, добавленные в список интересов

По базовому поисковому сценарию /find пользователь переходит от одного статуса к другому, последовательно вводя необходимые для фильтра данные. После ввода последнего параметра — места представления — происходит непосредственно парсинг афиши с использованием глобально объявленных словарей, где ключ-ID пользователя, значения — введенные параметры поиска.
Для того, чтобы запоминать состояние пользователя, они сохраняются в базе. Для работы с ней используются модули Vedis (конфигуратор баз данных типа ключ-значение, почитать документацию) и Enum (работа с перечислениями, подробнее 1, 2).

В отдельном файле-конфигурации Myconfig.py задаем параметры бота (в том числе полученный от Telegram уникальный token) и перечисляем статусы, в которых может находиться пользователь. Их вышло немного.

from enum import Enum

token = "422358437:AAGmOrnuGOI4sdfsdfs5656sdfsdf_c" #токен бота
db_file = "Mydatabase.vdb"

class States(Enum):
    """
    в БД Vedis хранимые значения всегда строки,
    поэтому и тут будем использовать тоже строки (str)
    """
    S_START = "0"  # Начало нового диалога
    S_ENTER_MONTH = "1"
    S_ENTER_PRICE = "2"
    S_ENTER_TYPE = "3"
    S_ENTER_PLACE = "4"
    S_ENTER_URL="5" #этот статус не входит в базовый поиск

В итоге получаем незамысловатую цепочку перехода статусов из одного в другой.

Для хранения используем БД Vedis. Инициализация пользователя, приславшего сообщение, всегда осуществляется через message.chat.id.

from vedis import Vedis
import Myconfig as config

# Запрашиваем из базы статус пользователя
def get_current_state(user_id):
    with Vedis(config.db_file) as db:
        try:
            return db[user_id]
        except KeyError:  #Если такого ключа/пользователя в базе не оказалось
            return config.States.S_START.value  #Значение по умолчанию-начало диалога

# Сохраняем текущий статус пользователя в базу
def set_state(user_id, value):
    with Vedis(config.db_file) as db:
        try:
            db[user_id] = value
            return True
        except:
            print('Проблемка с юзером!')
            # тут желательно как-то обработать ситуацию
            return False

Ниже пример хендлера, который активизируется по команде /find. Как можно заметить, в этом примере нет никакого ввода данных — есть только смена статуса на «S_ENTER_MONTH». Увидев сообщение о вводе номера, пользователь его вводит и отправляет сообщение. При получении сообщения со статусом S_ENTER_MONTH, инициируется следующий этап. В случае ошибок ввода статус не меняется.

    # Начало диалога
@bot.message_handler(commands=["find"])
def cmd_find(message):
    state = dbworker.get_current_state(message.chat.id) 
    """
    Для начала надо проверить, завершен ли предыдущий диалог и какой статус у пользователя. 
   Его мы запрашиваем из базы. Если он не нулевой, то мы продолжаем сценарий с точки остановки и текущего статуса 
    """
    if state == config.States.S_ENTER_MONTH.value: 
        bot.send_message(message.chat.id, "Мы остановились на выборе месяца. Введи его номер")
    elif state == config.States.S_ENTER_PRICE.value:
        bot.send_message(message.chat.id, "Мы остановились на вводе порога по цене, введи его сейчас")
    elif state == config.States.S_ENTER_TYPE.value:
        bot.send_message(message.chat.id, "Кажется, кто-то обещал отправить тип представления, но так и не сделал этого :( Жду...")

    else:  # Под "остальным" понимаем состояние "0" - начало диалога
        bot.send_message(message.chat.id, "Для начала введи номер месяца для поиска")
        dbworker.set_state(message.chat.id, config.States.S_ENTER_MONTH.value) #делаем смену статуса

Если бот получает сообщение от пользователя со статусом S_ENTER_MONTH, то запускается приведенный ниже хендлер. Идеалогически также происходит на других этапах сценария базового поиска.

@bot.message_handler(func=lambda message: dbworker.get_current_state(message.chat.id) == config.States.S_ENTER_MONTH.value)
def user_entering_month(message):
    if not message.text.isdigit():
        bot.send_message(message.chat.id, "Напоминаю, что нужно ввести число")
        return    #проверка 1

    num[message.chat.id]=message.text #забираем число

    if int(num[message.chat.id])>12 or int(num[message.chat.id])<1:
        bot.send_message(message.chat.id, "Номера месяца в диапазоне от 1 до 12. Попробуй еще раз") #проверка 2
        return

    url_list[message.chat.id]=take_url(num[message.chat.id]) #формируем список URL-ссылок на представления

    if url_list[message.chat.id]==[]: #если афиша без спектаклей
        bot.send_message(message.chat.id, "К сожалению, афиша на этот месяц пустая. Попробуй еще раз выбрать месяц")
         return            
  
   bot.send_message(message.chat.id, "Отлично! Теперь укажи верхний порог по цене.")
   dbworker.set_state(message.chat.id, config.States.S_ENTER_PRICE.value) #смена статуса на ввод цены

Помимо стандартного поиска, есть возможность сохранять интересные спектакли.

3. Отслеживание изменения цен

Пользователь может добавить в список интересов URL, чтобы получить оповещение, когда цена снизится. Мы помним, что у нас остался незадейстованный в базовом поиске статус — S_ENTER_URL. В

@bot.message_handler(commands=["addURL"])
def cmd_add_url(message):
    bot.send_message(message.chat.id, "Введи url, который нужно отслеживать. Без https://")
    dbworker.set_state(message.chat.id, config.States.S_ENTER_URL.value) #изменяем статус
    
@bot.message_handler(func=lambda message: dbworker.get_current_state(message.chat.id) == config.States.S_ENTER_URL.value)
def user_entering_URL(message):              
    perf_url=message.text
    user_id=message.chat.id
    try:
        add_new_URL(user_id,perf_url)  
        bot.send_message(message.chat.id, 'Запись в базу прошла успешно!')
        dbworker.set_state(message.chat.id, config.States.S_START.value)  #сбрасываем статус в начало
    except:
        bot.send_message(message.chat.id, 'URL неверный! Попробуй ввести еще раз!')
        dbworker.set_state(message.chat.id, config.States.S_ENTER_URL.value)          

Для хранения списка используем .csv файл. Для взаимодействия с ним нужна пара функций — записи и чтения с проверкой изменения цены. Если она изменяется-оповещаем пользователя.

 def add_new_URL(user_id,perf_url):
    WAITING_FILE = "waiting_list.csv"
    with open(WAITING_FILE, "a", newline="") as file:
        curent_url='https://'+perf_url
        text=get_text(curent_url) #функция описана в 1й части статьи
        minPrice, name,date,typ,place=find_lowest(text)  
        user = [str(user_id), perf_url,str(minPrice)]
        writer = csv.writer(file)
        writer.writerow(user)

def update_prices(bot):
    WAITING_FILE = "waiting_list.csv"
    with open(WAITING_FILE, "r", newline="") as file:
        reader = csv.reader(file)  
        waitingList=[]
        for row in reader:
            waitingList.append(list(row)) 
    L=len(waitingList)
    lowest={}
    with open(WAITING_FILE, "w", newline="") as fl:
        writer = csv.writer(fl)
        for i in range(L):
            lowest[waitingList[i][1]]=waitingList[i][2] #добавляем по ключу URL цену
        for k in lowest.keys():
            text=get_text('https://'+k)  
            minPrice, name,date,typ,place=find_lowest(text)  #об этом говорилось в 1й части статьи
            if minPrice==0: #если билетов нет
                minPrice=100000                
            if int(minPrice)


В результате, по команде /checkURL пользователь может получить такой результат (сейчас понимаю, что надо бы название спектакля тоже выводить, но это вещи из серии «руки не дошли»).


def save_logs(str):
    loggerInfo.info(str) #добавляем строчку в лог

logging.basicConfig(format = u'%(levelname)-8s [%(asctime)s] %(message)s', level = logging.ERROR, filename = u'loggerErrors.log')

global loggerInfo
loggerInfo = logging.getLogger(__name__)
loggerInfo.setLevel(logging.INFO)
handler = logging.FileHandler('loggerUsers.log')
handler.setLevel(logging.INFO)
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)
loggerInfo.addHandler(handler)
log = logging.getLogger("ex")