Я победил замедление YouTube
Привет, Хабр! Ухудшение работы YouTube стало поистине трагическим событием, которое прибило почти все загрузчики видео, но я нашел легальный способ улучшить ситуацию!
Как починить оборудование Google, не привлекая внимание санитаров.
1.5 года я занимаюсь разработкой и поддержкой самого популярного в RuStore загрузчика видео на Android
На данный момент приложение имеет более 50 тысяч установок и среднюю оценку 4.4
Когда YouTube начал замедляться, то пострадал, как это не парадоксально, в большей степени совсем не просмотр видео, а скачивание. (Дальше в статье объясню почему)
Многие пользователи на форумах стали жаловаться на проблемы при работе с утилитой yt-dlp (форк youtube-dl):
Лично у меня, как ни странно, воспроизведение видео на самом сайте ютуба не тормозит совсем.
Но вот скачивание с помощью
yt-dlp, как оказалось, тормозит нещадно. Скорость пляшет между 40 и 200 KiB/s, что ни в какие ворота, особенно для многогигабайтных видео.
Естественно, после этого наступили темные времена для всех Android загрузчиков, которые работают на основе этой библиотеки (Seal, YTDLNIS и др)
Разумеется и мое приложение оказалось в этом числе.
Хоть я давно уже реализовал загрузку контента из отечественных платформ (ВК Видео, RuTube, Дзен), но 90% загрузок видео так или иначе приходилось именно на ютуб.
Полетели негативные отзывы, я перебирал варианты и отметал.
Пару дней было неспокойно.
Как я обходил замедление YouTube
Первым делом я решил отказаться от использования yt-dlp в рамках скачивания из YouTube. Никаких полезных опций в текущих условиях там больше для меня нет.
Реализовал прямой доступ к YouTube API.
Про этот способ уже писал в другой статье на Хабр.
Я заметил, что несмотря на замедление всё же удается скачать первые пару мегабайт, а затем скачивать становится невозможно.
Потоковые видео поддерживают Header Range для HTTP запросов и это позволяет нам скачивать видеофайл по кусочкам.
Если произойдет обрыв, то мы посчитаем сколько байт уже скачано и продолжим с того же места опять
Ещё я решил задать timeout в 3, 5 секунды на один запрос.
Довольно часто запрос уходил на 20 секунд и более отсыпаться, поэтому было решено дропать раньше.
Пишем несложный цикл на Kotlin:
fun main() {
val chunkSize = 500000
// Размер куска в байтах, который мы будем скачивать за один запрос
val client = HttpClient()
val length = client.head(link).headers[HttpHeaders.ContentLength]?.toLong() as Long
//Получаем размер видеофайла
while (true) {
try {
val lastByte = length - 1
var start = inputVideoFile.length()
val output = FileOutputStream(inputVideoFile, true)
val end = min(start + chunkSize - 1, lastByte)
val data = withTimeoutOrNull(3500L) {
client.get(videoUrl) {
header("Range", "bytes=${start}-${end}")
header(HttpHeaders.ContentType, contentTypeVideo)
}.body()
}
if (data != null) {
output.write(data)
if (end >= lastByte) break
start += chunkSize
}
} catch (e: Exception) {
TracerCrashReport.report(e, "error yt chunk downloading")
}
}
client.close()
} Скорость и правда немного улучшилась, файл докачивался, никаких обрывов не происходило, но этого было мало.
Позже мне удалось узнать, что низкая скорость была ещё и следствием протокола HTTP/2, а YouTube транслирует видео по HTTP/3
Это именно то, из-за чего yt-dlp выдает ужасную скорость, а в браузерах особых задержек на наблюдается.
Проверить протокол можно в DevTools → Network.
«h3» означает HTTP/3.
Если у вас какие-то лютые тормоза на ютубе, то возможно пришло время обновить браузер)
Ради эксперимента вы можете отключить HTTP/3 в настройках браузера.
Для Chrome нужно ввести в адресную строку chrome://flags/#enable-quic → Experimental QUIC protocol → Disable
И вы сможете ощутить все прелести замедления.
Возможно именно к такому состоянию нас и готовят в будущем.
Кстати, напишите в комментариях, кто в курсе, почему удается так жестко снижать скорость для протокола HTTP/2, а для HTTP/3 нет? Или не пытались?
Выяснили.
Нам очень необходима поддержка протокола HTTP/3, но это, как оказалось, совсем нетривиальная задача.
Даже для Curl требуется целая церемония.
Новый протокол скорее ориентирован на браузеры, хотя уже есть и поддержка для Nginx.
Поправьте меня в комментариях, если я не прав.
Как оказалось для Android приложений существует целая гугловая библиотека Cronet.
Cronet — это сетевой стек Chromium, предоставляемый приложениям Android в виде библиотеки. Cronet использует несколько технологий, которые снижают задержку и увеличивают пропускную способность сетевых запросов, необходимых для работы вашего приложения.
Библиотека Cronet обрабатывает запросы приложений, которыми ежедневно пользуются миллионы людей, таких как YouTube, Google App, Google Photos и Maps — Navigation & Transit.
На Хабре про неё есть отдельная статья от 2019 года — Протокол QUIC в деле: как его внедрял Uber, чтобы оптимизировать производительность
private fun createCronet(context: Context): CronetEngine {
return CronetEngine.Builder(context)
.enableHttp2(true)
.enableQuic(true)
.enableBrotli(true)
.build()
}После подключения библиотеки в качестве движка для Ktor Client (использовал экспериментальную реализация с гитхаба) скорость скачивания заметно выросла.
Итог
Мне удалось повысить среднюю скорость скачивания видео в 1080p до 7 мегабит на домашнем интернете от МТС и до 12 мегабит на мобильном интернете от Теле2.
Если в текущих условиях замедления вам нужно будет скачать видео, то вы всегда можете воспользоваться моим загрузчиком из RuStore.
