Код Доступа Termux21.02.2022 12:01

Описание bash-кода.
Curl-ом получаю страницу; grep-ом ищу все отношения к ».mp3»; вижу, что все нужные данные по разделителю «пробел» находятся во втором «столбце», использую awk забирая 2-й столбец; с помощью sed восстанавливаю валидный префикс url-ов всех mp3-треков и отбрасываю кавычки; готовые url (s) саундтреков поочередно отправляются на вход утилите для скачивания wget.

Пошёл процесс скачивания всех 82 аудиотреков.

Однако, если пользователь не так причудлив чтобы искусно владеть bash-оболочкой, а может всё с точностью на оборот, то задачу с извлечением url (s)/mp3-треков со страницы можно повторить, например, на Python.

Код:
$ pip install beautifulsoup4 html5lib
#создаем файл: «parsing_mp3.py»
$ nano parsing_mp3.py
#Наполняем:

import requests
from bs4 import BeautifulSoup

r = requests.get("http://www.etnogenez.ru/music/").text
soup = BeautifulSoup(r, 'html.parser')

for link in soup.find_all('a'):
    if ".mp3" in link.get('href'):
        print(f"http://www.etnogenez.ru/{link.get('href')}")

Спарсим данные.
$ python parsing_mp3.py > url && wget -i url #с помощью python извлекаю с web-сайта все url (s) (относящиеся к mp3) и сохраняю в файл «url», с помощью wget закачиваю всё что указано в файле «url»

Пошла скачка всех тех же 82 аудиотреков по порядку, а в случае какой-либо ошибки/обрыва линии всегда можно докачать прерванное без излишнего кода.

Кроме того, с помощью wget (в случаях отсутствия ограничений) можно, например, выкачать весь сайт; отдельный web-каталог или спарсить все изображения, чем не может похвастать какое-либо Android приложение.

Код:
$ wget -U="Mozilla/5.0 (X11; Linux x86_64; rv:97.0) Gecko/20100101 Firefox/97.0" -r -k -p -E -nc url #выкачать ресурс
$ wget -U="Mozilla/5.0 (X11; Linux x86_64; rv:97.0) Gecko/20100101 Firefox/97.0" -r -l=1 -nd -nc -A jpeg,jpg,bmp,gif,png url #спарсить/выкачать все изображения, глубина рекурсии задается ключом -l=цифра

Автоматизация процесса: бэкап, шифрование данных с последующей синхронизацией в облако по расписанию​

Rclone & 7-zip & crontab

Rclone

Данные, которые я постоянно выгружаю (вернее написать: данные которые автосинхронизируются) в облако со своего Android устройства — это зашифрованные бэкапы кэш/приложения.

Бэкап приложений и их данных по расписанию осуществляет приложение OandBackuPX/TB #требуется root
Остальная логика завязана на Termux.
Синхронизация/шифрование берёт на себя «rclone».
Автозапуск скрипта по расписанию осуществляется с помощью «cron» в Termux.

Установка и настройка rclone на примере Яндекс.Диска

Код:
$ pkg install rclone $ rclone config

Настройка rclone простая: выбор в стиле POSIX: [y/n/enter/digit] ответив на вопросы (выбирать все действия рекомендую значениями по умолчанию).

Цифрами выбрать Yandex Disk (это может быть любая другая цифра в любой/обновленной версии ПО, например сегодня это цифра — 32). Откроется браузер. Ввести данные авторизации яндекс-аккаунта и вернуться в терминал, где автоподставится ключ. Облако настроено и готово к синхронизации в обе стороны, но такое положение вещей нас не устраивает, нам нужно защищать свои данные в любом случае (примечание — если пользователю не нужно шифровать данные, для последующей выгрузки на диск, то Я.Диск на этом шаге уже настроен и готов к работе).

Чтобы создать отдельный зашифрованный каталог в облаке, необходимо донастроить созданный ранее контейнер: обеспечить шифрование/дешифрование данных на лету.

Код:
$ rclone config #--> n --> вводим имя (сопоставление шифрованного каталога), если у меня ранее контейнер назывался «yad», этот я назову: yenc (первая буква облака, суффикс от сокращения «encrypt», стоить иметь ввиду на будущее, что короткие имена удобней использовать в этой утилите). Выбрать «Encrypt/Decrypt a remote» --> 10, далее ввести имя и шифрованный каталог (имя до двоеточия обязательно должно = имени создаваемого ранее контейнера: yad) yad: crypt выбрать режим шифрования, их 3 (в зависимости от работы в параноидальных условиях).

1. Encrypt the filenames see the docs for the details.​

«standard»2. Very simple filename obfuscation.«obfuscate»3. Don’t encrypt the file names. Adds a ».bin» extension only.«off»

Использую 3-й вариант, который добавляет к шифрованным файлам лишь расширение ».bin» (остальные варианты обфусцируют имена файлов).

Далее,  directory_name_encryption --> »2» (false), далее Password or pass phrase for encryption --> «y» (напечатать пароль, он не будет отображаться в CLI — это не баг, а стандартная защита), далее No leave this optional password blank --> «n», далее Edit advanced config?  --> «n». После чего увидите свою конфигурацию (подтвердите её нажав «y»):

[yenc]​

remote = yad: cryptfilename_encryption = offdirectory_name_encryption = falsepassword = *** ENCRYPTED ***

На сколько «сложным» бы не казался rclone его конфиг настройки простой, в затруднительном положении (выбирать все пункты по «default») в крайне затруднительном — RTFM.

Вот пара команд, которые нам потребуются «sync» и «copy».

Обратите внимание, чтобы получить зашифрованные данные с Я.Диска и расшифровать, их нужно указывать просто как «yenc:» (а не «yenc: crypt»)

$ rclone copy yenc: ~home/test #скопирует/расшифрует все данные с облака в каталог test (если в папке «test» имелись какие-либо сторонние данные, с ними ничего не произойдет).
$ rclone sync yenc: ~home/test #аналогично, но уничтожит все сторонние данные в папке «test» (то есть полная синхронизация каталогов). Как всё просто. Да, так просто потерять всё. Пользователю необходимо соблюдать осторожность и внимательность, чтобы случайно не уничтожить сторонние данные. Например, ошибочный ввод:
$ rclone sync yenc: ~home/ #уничтожит все пользовательские данные Termux, синхронизировав зашифрованный «crypt» каталог в облаке c «home» на гаджете нерадивого пользователя.

Синхронизация, но в обратную сторону (гаджет --> облако):
$ rclone sunc источник :приемник/каталог #полная синхронизация
$ rclone copy источник :приемник/каталог #синхронизация только выбранных данных

Существуют векторы атак, при которых пользовательская цитадель может не устоять (проблема хранения облачного пароля в открытом виде в конфигурации rclone). Плюсом rclone является то, что он легко настраивается для работы в параноидальных обстоятельствах (зашифровав конфиг/открытый пароль, но потребуется вводить каждый раз пароль разблокировки при синхронизации данных). Из минусов, бэкап-данные дублируются перед шифрованием в облако, излишне нагружая дисковое пространство на устройстве пользователя.

В rclone имеется второстепенно-полезная hash-функция, которая умеет проверять рекурсивно заданный хэш у файлов во всех подкаталагах без »| трубы» и циклов (алогичная утилита hashdeep).

 #разница в том, что архив после сжатия будет переименован с новым дата-суффиксом:»13–02–2022_10ч_25 м_android.7z». Из плюсов, наглядно видно по имени файла: когда был сделан/обновлён бэкап. Из минусов, с таким именем возникнут сложности с автобэкапом; такие архивы множатся (вместо быстрой дозаписи одного единственного архива создаются новые копии).

Автовыполнение скриптов по расписанию

В Termux нет полноценной системы инициализации, но кое-что и кое-как работает и позволяет запускать скрипты на автомате:
A) при автозагрузке гаджета;
Б) либо запускать скрипты строго по расписанию, даже когда Termux не в трее.

Для выполнения скриптов при автозагрузке гаджета необходимо установить addon Termux boot,  настроив простой boot-конфиг. Для другой задачи: автовыполнение скриптов по расписанию у Termux в репозитории имеется пакет «cronie» (местный crontab),  который нужно установить и немного подкрутить по причине того, что подчёркнуто выше.

Код:
$ pkg install cronie termux-services
# ребут Termux
$ sv-enable crond #достаточно этот шаг сделать один раз и пользователь в деле
$ crontab -e #настроить выполнение скриптов по расписанию по классике. Например, в исполняемом «скрипт.sh» первой строкой достаточно указать сокращенный путь:»#!/bin/bash» и не забывайте про раздачу прав: «chmod +x скрипт.sh»
# быстрая проверка, работает ли «демон»
$ pidof crond

Пользователям с агрессивным энергосбережением стоит добавить все приложения Termux в исключение: «ограничения работы в фоновом режиме» в настройках своего Android.

Быстрый check автоматизации процесса

Код:
$ nano -$ срипт.sh
#Наполнение скрипта

#!bin/bash
mkdir storage/downloads/Habr #создать пустой каталог в общедоступном месте

$ chmod + x срипт.sh #разрешаем выполнение скрипта$ crontab -e #создаём задание: каждую минуту автоматически создавать папку «Сodeby» в общедоступном каталоге «Downloads»*/1 * * * * bash /data/data/com.termux/files/home/скрипт.sh#«ctrl + o» сохранить; «ctrl + x» выход из nano; «ctrl + d выход из Termux»

Любым файловым менеджером проверяем общедоступный каталог «Downloads» и ищем папку «Habr», удаляем её, но в течение минуты она снова появится, что сигнализирует о том, что скрипт работает на автомате, а значит можно приступать к написанию сценариев реальных задач.

Если пользователь не скачивал termux-boot, если у пользователя агрессивное энергосбережение, то в шторке Android/Termux есть функция «wakelock» (пытаться запрещать переходить гаджету в глубокий сон).

Бэкап Termux

В лучшем случае будет обидно установить и настроить Termux/пакеты под себя, но при развёртывании копи на другом устройстве и/или при любом инциденте потерпеть фиаско.

Проверка сколько места занимает настроенная Termux-среда.
Код:
$ cd ../../ && du -sh #подняться на два каталога выше и измерить пользовательские и системные пакеты Termux

>>>4.1G

$ pkg list-install | wc -l #количество установленных пакетов

>>> 307

Если у пользователя отсутствуют root-права, то авто/бэкап всей среды делается по мануалу.

Программирование на Android

Уметь ловко писать сценарии на bash хороший навык, но ограниченный. В Termux репозитории имеются пакеты языков программирования (ЯП), например,  python,  php,  perl,  ruby, а так же scala,  elixir,  java,  go,  rust,  brainfuck. Давайте напишем нашу однофункциональную программу на всех вышеперечисленных языках, которая поприветствует пользователей Хабра.

Код:
$ pkg install python golang elixir php rust perl ruby scala brainfuck #установка ЯП, bash/java уже предустановленные среды.

Пруфы. Успешное выполнение программ на всех вышеперечисленных ЯП.

Хорошие новости: можно обучаться и практиковать/поддерживать навыки владения ЯП прямо с гаджета, например, проходя курсы программирования по Python на Stepik, решая задачи где бы ты не находился.

В реальности же имеются технические ограничения. Например, на Python «нельзя» писать и запускать ПО, требующего многопроцессорного параллельного вычисления напрямую в Termux (параллельные вычисления на нескольких ядрах CPU, не путать с многопоточностью (и не касается, например СИ-программ)). Скрипты, которые размашисто потребляют ОЗУ, несмотря на избыточно-свободную память могут аномально снижать скорость вплоть до замирания. Простой пример воспроизведения проблемы на Python с распараллеливанием кода на CPU (s).

Код:
$ python

import concurrent.futures as pool
e = pool.ProcessPoolExecutor(max_workers=2, mp_context=None, initializer=None, initargs=())
#Приведёт к следующей ошибке:
#>>>raise ImportError("This platform lacks a functioning sem_open" + ImportError:
#This platform lacks a functioning sem_open implementation, therefore, the required synchronization primitives needed will not function, see issue 3770.

По той же причине не встанет, например, и библиотека NumPy и импортирующее её ПО: $ pip install numpy #установка не завершится и приведёт к ошибке

Но если очень надо…
Вмешаемся в сам интерпретатор Python, заменив многопроцессорные параллельные вычисления на многопоточные.

Код:
$ nano ../usr/lib/python3.10/multiprocessing/synchronize.py
заменяем ~28 строку:

from _multiprocessing import SemLock, sem_unlink

на

from threading import Lock

В таком случае можно запускать параллельные вычисления в потоках, а не процессах.

Пруф, библиотека numpy установлена и работает!

Proot-distro

Компромисс. Если пользователь располагает достаточно свободным дисковым пространством (±10 Гб) на своем гаджете, то он может установить в Termux один из дистрибутивов GNU/Linux (например,  termux-ubuntu и п.д.).

И запускать не только скрипты, требующие распараллеливания кода на CPU (s), но и юзать GUI-софт, например,  Gimp.

Proot-distro, метафорично выражаясь — это сила Temux и ни NetHunter-у и ни Andrax далеко им всем сейчас. Вся Termux-стихия заключена в 4-х строчках ниже, но обойдя одни ограничения, обязательно натыкаешься на другие (overkill abstractions).

Код:
$ pkg install proot-distro $ proot-distro list $ proot-distro install ubuntu $ proot-distro login ubuntu

Сравнение пакетов​

mutt & smtplib

Для работы с электропочтой в Termux имеется пакет:  mutt

Код:
$ pkg install mutt
$ nano ../usr/etc/Muttrc #редактирование конфига в CLI/nano для тех у кого не рут прав
$ mutt #запуск

Скриншот: входящие письма на Яндекс почте.

Работа с email требуется, например тогда, когда произошло какое-либо событие, и в случае успеха или ошибки автоматическая отправка репорта на email. Я не могу похвалить или раскритиковать mutt не предвзято т.к. пользуюсь в подобных скрипто-делах Python с библиотекой smtplib, которая работает стабильно и без нареканий.

Сравнение пакетов: html2tetx* vs links

А вот пример, когда сторонний софт перспективнее местного. В Termux имеется в наличии пакет «html2text», который позволяет выводить очищенные от тегов web-страницы в CLI. У данного пакета имеются нюансы с автовыбором кодировки: например, русскоязычные символы отображаются кракозяброй и на мой взгляд не самое лучшее форматирование текста. В Python имеется альтернативный пакет с тем же названием и аналогичным функционалом, но ИМХО, разработкой на порядок выше. Сравним эти два пакета от разных разработчиков написанных на разных языках, но выполняющих одну и ту же функцию (примечание — html2text популярные утилиты и представлены на многих ЯП, не только на Python и Perl).

Код:
$ pkg install html2text #установка из репозитория Termux
# тесты
$ pip install html2text #установка из репозитория (каталог ПО Python)
# тесты

Запуск разных html2text-пакетов на примере обработки одной и той же русскоязычной статьи:
$ curl https://habr.com/en/post/488432/ | html2text

Выхлоп утилит на одной и той же статье: слева — пакет html2text из репозитория Termux, справа — python пакет html2text. В данном случае наблюдаем, что python-пакет по умолчанию верно определяет кодировку, а для нормального отображения русскоязычного текста при работе с пакетом из репозитория Termux необходимо явно указывать флаг кодировки, например,»-from_encoding windows-1251»;»-from_encoding utf-8».

Альтернативный, возможно даже более удобный, способ получить текстовую версию web-страницы очищенную от тегов — это использовать cli-браузер, например,  links.

Код:
$ pkg install links $ links # «g» открыть url --> файл --> Сохранить форм. документ

CLI-браузер links.

Пре