Как я узнал, что моя виза не готова, сообщением в Slack30.04.2019 14:47

Далее идем по собранным тегам и ищем тот, внутри которого содержится дата нового отчета: 24 April. Если такой результат найден, то вытаскиваем из него ссылку и формируем текст, что новый отчет опубликован.

2. Поиск id визы в новом отчете

Итак, что требуется сделать теперь здесь:

1. Скачать этот новый отчет.
2. Распарсить pdf-файл.
3. Найти в нем мой id.
4. Найти статус, соответствующий ему.

Код функции выглядит следующим образом:

def check_visa(report_url, filename, visa_id, text):
    pdf = requests.get(report_url)
    file_path = Path(filename)
    file_path.write_bytes(pdf.content)
    pdfFileObj = open(filename, 'rb')
    pdfReader = PyPDF2.PdfFileReader(pdfFileObj, strict=False)  
    for pageNum in range(0, pdfReader.numPages):
        page = str(pdfReader.getPage(pageNum).extractText().encode('utf-8')).split('\\n')
        if visa_id in page:
            visa_index = page.index(visa_id)
            status = page[visa_index + 1]
            text = text + '\t' + visa_id + '\t' + status    
    return text

При помощи опять же библиотеки requests делаем запрос к этому отчету. Далее сохраняем его локально. При помощи библиотеки PyPDF2 производим чтение файла. После чего перебираем его страницы и ищем visa_id в массиве токенов. Разметка этого pdf-файла такова, что следующим токеном после visa_id идет непосредственно статус рассмотрения: Approved или Refused. Далее мы конкатенируем существующий текст с id и статусом.

3. Отправка статуса сообщением в Slack

Хорошо. Cкрипт нашел, допустим, мой id, но нужно же где-то меня уведомить об этом. Мы в компании у себя используем Slack в качестве мессенджера, поэтому я подумал, что мне было бы удобно получить уведомление туда.

По этой ссылке можно настроить себе webhook. Там можно выбрать канал или адресата, кому запостить сообщение (возможно, для этого шага потребуется быть админом WorkSpace). Там же вы получите уникальный url для webhook, который можно использовать в коде.

def send_to_slack(webhook_url, text):
    post = {"text": "{0}".format(text)}
    json_data = json.dumps(post)
    req = requests.post(webhook_url, data=json_data.encode('ascii'), headers={'Content-Type': 'application/json'})
    return req.status_code

Пользуясь все той же библиотекой requests, делаем POST-запрос с содержимым text по адресу webhook.

4. Использование функций

Остаток кода выглядит так:

url = 'https://www.dfa.ie/irish-embassy/russia/visas/weekly-decision-report/'
div_class = 'gen-content-landing__block'
date = '24 April'
filename = 'weekly_report.pdf'
visa_id = '38644112'
webhook_url = 'https://hooks.slack.com/services/...'

text, report_url = check_report(url, div_class, date)
if text != '':
    text = check_visa(report_url, filename, visa_id, text)
    print(send_to_slack(webhook_url, text))

Присваиваем значения всем необходимым переменным и далее запускаем прописанные функции.

5. Запуск по плану

Ок. Скрипт я написал, но если мне придется его самостоятельно каждый раз дергать, то я недалеко ушел от изначального состояния дел, где мне бы пришлось сидеть и обновлять страничку.

$ crontab -e

В него добавил строчку:

*/10 * * * * python3 /home/ubuntu/embassy.py >/dev/null 2>&1

Я подумал, что мне достаточно, если этот скрипт будет отрабатываться каждые 10 минут по cron на сервере с ubuntu.

6. Заключение

В 11:50 мне пришло сообщение, что появлися новый отчет, но моей визы в нем не оказалось… После этого я поехал в посольство. Взял его штурмом (на письма и звонки не отвечали в течение нескольких недель) и в итоге получил свой паспорт с визой.

В общем, скилл программирования важен в современном мире, даже если ты не программист. Он позволяет автоматизировать некоторые твои рутинные операции, что делает твой мир чуточку удобнее. На самом деле можно было бы это даже оформить в отдельный сервис, где человек просто вводит свой id и e-mail, и ему приходит сообщение о готовности визы на почту.

© Habrahabr.ru