Профилирование асинхронного Python
Общие слова
Профилирование приложений — это процесс анализа программы для определения её характеристик: времени выполнения различных частей кода и использования ресурсов.
Основные этапы профилирования всегда более-менее одинаковы:
Измерение времени выполнения. Cколько времени требуется для выполнения различных частей кода?
Анализ использования памяти. Сколько памяти потребляется различными частями программы?
Выявление узких мест. Какие части кода замедляют работу программы и/или используют слишком много ресурсов?
Оптимизация производительности. Принятие мер для улучшения скорости выполнения и эффективности использования ресурсов на основе полученных данных.
А как вообще работает профилировщик?
Детальному обзору будет посвящена отдельная статья, пока можно ограничится базовой классификацией:
Детерминированные (deterministic) профилировщики. Главный представитель — встроенный
cProfile. Такой профилировщик считает количество вызовов каждой функции и потраченное функцией время. Проблема в том, что время ожидания асинхронных вызовов не учитывается.Статистические (statistical) профилировщики. Распространённые представители —
scalene,py-spy,yappi,pyinstrument,austin. Такие профилировщики с некоторой частотой снимают «слепок» с процесса и применяют методы статистического анализа для поиска узких мест.
Основные типы узких мест в асинхронном Python-коде
Для асинхронного кода существует небольшое количество специфических «узких мест», которые лучше перечислить заранее.
Каждому типу сопоставим пример кода.
Список допущений
Блокирующие операции
import asyncio
import time
async def main():
print('Start')
# Blocking call
time.sleep(3) # This blocks the entire event loop
print('End')
asyncio.run(main())Последовательный вызов асинхронных задач
import asyncio
import aiohttp
async def fetch(session, url):
async with session.get(url) as response:
return await response.text()
async def main():
urls = ["http://habr.com"] * 10
async with aiohttp.ClientSession() as session:
# Inefficient: Sequential requests
for url in urls:
await fetch(session, url)
asyncio.run(main())Слишком частое переключение контекста
import asyncio
async def tiny_task():
await asyncio.sleep(0.0001)
async def main():
# Excessive context switching due to many small tasks
await asyncio.gather(*(tiny_task() for _ in range(100000)))
asyncio.run(main())Неравномерное распределение ресурсов
В англоязычной литературе такой сценарий называется «Resource Starvation».
import asyncio
async def long_running_task():
await asyncio.sleep(10)
print("Long task executed")
async def quick_task():
await asyncio.sleep(1)
print("Quick task executed")
async def main():
await asyncio.gather(
long_running_task(),
quick_task() # May be delayed excessively
)
asyncio.run(main())Чрезмерный расход памяти
import asyncio
async def large_data_task():
data = "h" * 10**8 # Large memory usage
await asyncio.sleep(1)
async def main():
tasks = [large_data_task() for _ in range(100)] # High memory consumption
await asyncio.gather(*tasks)
asyncio.run(main())Использование «scalene» для профилирования
Почему scalene? Потому что этот инструмент позволяет профилировать и CPU, и GPU, и память; 10k+ звёзд на гитхабе, проект активно развивается.
Посмотрим что скажет scalene для каждого «проблемного» кода из списка выше.
Запускать будем в режиме scalene --cpu --memory --cli script_name.py
Блокирующие операции
Проблемную строку с блокирующим вызовов видно сразу — 2% времени на Python, 98% — на системные вызовы.
Последовательный вызов асинхронных задач
Здесь чуть сложнее. Видно, что 90% времени уходит на системные вызовы, но поменялась строка — теперь это сам asyncio.run(). Такой паттерн вывода профилировщика лучше всего просто запомнить.
Слишком частое переключение контекста
Видим, как растёт потребление памяти в asyncio.gather() — делаем вывод о слишком сильном «дроблении» задач.
Неравномерное распределение ресурсов
И снова соотношение времени system vs python не в пользу python-операций.
Чрезмерный расход памяти
Здесь профилировщик сделал всё за нас и сразу показал проблемный код.
Заключение
Надо обратить внимание, что для трёх случаев — «блокирующие операции», «последовательный вызов асинхронных задач» и «неравномерное распределение ресурсов» профилировщик показал нам одну и ту же картину — system % >> python %. Для уточнения причины требуется, собственно, разработчик.
Профилировать Python — несложная и достаточно приятная задача, если знать основные типы узких мест и быть готовым внимательно читать вывод профилировщика.
