Дайджест новостей из мира PostgreSQL. Выпуск №10

lrijhzyeyd_anf0z2eeltjznswi.jpeg

Мы продолжаем знакомить вас с самыми интересными новостями по PostgreSQL.

Релизы

PostgreSQL 11 Beta 4
В этом релизе починили баги, выявленные после выхода Beta 3. В том числе:

  • теперь отключена по умолчанию JIT-компиляция.
  • имена в constraint-ах должны быть уникальны.
  • убрали утечку памяти при обращении к XMLTABLE
  • исправили ошибки в хранимых процедурах
  • доработали секционирование, в том числе выбор секций в момент исполнения (runtime partition pruning)


Подробнее здесь.

PostgreSQL 10.5
В этом релизе несколько десятков исправлений, касающихся WAL, libpq, VACUUM и FREEZE, индексов GIN, распараллеливания запросов, OpenSSL. Вот их список.

Postgres Pro Enterprise 10.5.2.
В этой версии есть следующие нововведения по отношению к Postgres Pro Enterprise 10.5.1, они касаются pgbench:

  • pgbench теперь поддерживает составные команды;
  • с помощью параметра --latency-limit теперь можно ограничить время, отведённое на повторение транзакций. Если при использовании данного параметра значение --max-tries=0, транзакции могут повторяться неограниченное число раз, пока не истечёт время, заданное параметром --latency-limit;
  • при вычислении количества обработанных транзакций и скорости выполнения (TPS) пропущенные и неуспешные транзакции больше не учитываются.


Напомним, за время между нашими выпусками вышел релиз Postgres Pro Enterprise 10.5.1.. Там есть существенные изменения, о них можно прочитать здесь.
Postgres-XL 10r1beta1
2ndQuadrant анонсировала выход релиза, загрузить который можно здесь.
У ванильной версии на базе PostgreSQL 10 подхвачены следующие улучшения:

  • декларативное секционирование;
  • улучшенный параллелизм запросов;
  • в целом существенно улучшена производительность;
  • улучшен мониторинг и администрирование.


От версии на базе PostgreSQL 9.6 взято:

  • параллельное выполнение последовательного сканирования, JOIN-ов и агрегирования;
  • во время VACUUM FREEZE без необходимости не сканируются страницы;
  • существенно улучшена производительность, особенно в случае много-сокетных серверов;
  • полнотекстовый поиск теперь умеет делать фразовый поиск.

TimescaleDB 1.0.0 rc1
Появился релиз-кандидат этой СУБД, которая базируется на PostgreSQL, доработана для хранения и обработки временных рядов (time-series), выполнена как расширение PostgreSQL. При скромном порядковом номере релиза, у СУБД уже такие клиенты как Bloomberg и Cray, миллионы даунлоудов.

Вышла PostGIS 2.5.0
Примерно через месяц после beta вышел и официальный релиз. Список изменений здесь
Официальный ChangeLog здесь, загружать сорсы отсюда.

repmgr 4.1.1
В аннонсированной 2ndQuadrant-ом версии имеются доработки для более удобной работы. Подробности здесь, а скачать можно здесь

pgAdmin 4 v 3.3
В этом релизе есть полезные доработки:

  • просмотр геометрических фигур;
  • добавлены новые опции в backup/restore версии PostgreSQL 11 и новые опции в pg_dumpall.


Доступны пакеты для Windows, macOS, для Python Wheel, Docker, есть и тарболы. RPM и DEB появятся чуть позже на postgresql.org

pgCenter
Новая версия утилиты мониторинга, написанная Алексеем Лесовским (Data Egret), переписана на Go. Теперь pgCenter умеет сохранять статистику в файлах, учитывать фоновые процессы, фильтровать по регулярным выражениям. Версию сопровождает статья, где новшества описаны подробно. Есть демо. Скачать можно здесь.

temboard v2.0
В новой версии средства для мониторинга и управления Postgres, который предлагают в Dalibo, появились оповещения (alerting). Скачать можно здесь.

pgBadger 10.0
Это мажорный релиз, кроме исправления багов имеются новые, существенные возможности:

  • поддержка формата файлов pgbouncer (syslog log);
  • поддержка всех форматов auto_explain format (text, xml, json and yaml);
  • поддержка %q placeholder в log_line_prefix;
  • добавлен формат jsonlog в расширении Мишеля Пакье, с опцией -f jsonlog pgbadger сможет парсить лог;
  • вместо SQL formatter/beautify теперь pgFormatter v3.0


Добавлено много опций.
Исходные коды здесь.

pitrery 2.2
Это набор bash-скриптов для работы с PITR-бэкапами в PostgreSQL. В новой версии, которую можно найти на гитхабе Dalibo, умеет, например, сохранять конфигурационный файл и сохраненные команды внутри самого бэкапа.

pg_terminator
Depesz (то есть Хуберт Любашевский) сообщает о выходе pg_terminator-а. Эта утилита мониторинга умеет подчищать проблемные запросы и/или соединения.

Ora2Pg 19.1
Добавлены:

  • поддержка хэш-секционирования по версии PostgreSQL 11;
  • экспорт дефолтной секции;
  • поддержка объектов хранимых процедур


А также некоторые другие усовершенствования для менее болезненного экспорта и более осмысленного дебагинга.
Посмотреть все изменения на гитхабе;
скачать;
документация.

Обучение

Новые учебные курсы от Postgres Professional «Язык SQL» и «Основы технологий баз данных» стартовали 10 сентября
С 10 сентября и до 19 октября 2018 года в ВМК МГУ и ФКН ВШЭ проводятся два новых учебных курса при поддержке компании Postgres Professional

  • Язык SQL (читает доцент СИбГУ Е.П. Моргунов);
  • Основы технологий баз данных (читает профессор СПбГУ Б.А. Новиков).

2zbn7yeu1d4vnbmz-3auxcz41r8.jpeg

Заявиться на курс «Основы технологий баз данных» можно написав на электронный адрес: edu@postgrespro.ru, указав в письме фамилию, имя и отчество полностью.

Enterprise-Grade PostgreSQL: Built on Open Source Tools
На вебинар Percona желающие приглашаются 10 октября. Регистрация здесь. Будут обсуждаться темы:

  • как обезопасить кластер БД;
  • высокая доступность (High Availability);
  • как выбрать стратегию резервного копирования и какие инструменты использовать;
  • масштабирование PostgreSQL с помощью пулеров и балансировщиков нагрузки;
  • утилиты/модули (extensions) для каждоневной работы DBA, детальное логирование;
  • мониторинг и анализ в реальном времени.

Using Postgres to watch Star Wars!
В этом ролике-докладе Вил Лайнвебер (Will Leinweber) рассказывает и показывает как сделать винтажный мультик средствами СУБД.

Демонстарация PgCodeKeeper
20-минутный ролик.

Статьи

Preventing SQL Injections
Недлинная, внятная статья Димитрия Фонтейна объясняет, как обезопасить PostgreSQL от SQL-инъекций. Не без рекламы Python-адаптера psycopg.

Securing PostgreSQL as an Enterprise-Grade Environment
Сотрудники Percona расписывают процесс настройки безопасности PostgreSQL в информационных системах уровня предприятия. Речь идет об 

  • аутентификации
  • авторизации
  • RLS
  • шифровании
  • логировании и аудите
  • отслеживании багов

PostgreSQL Backup Strategy for an Enterprise-Grade Environment
Вторая статья в этой перконовской серии рассказывает о резервном копировании уровня предприятия. Обе статьи не слишком детализируют проблему, но эта уж совсем лаконичная.

USE, RED, PgBouncer, его настройки и мониторинг
Большая статья от okmeter с множеством примеров и иллюстраций.

PostgreSQL 11 and Just In Time Compilation of Queries
В этой статье от Citus Data рассказывается в том числе о бенчмарке TPC-H Q1, сопоставленном с Pricing Summary Report (итоговый отчет по ценообразованию) в реальном мире. Бенчмарк представляет собой запрос с большим количеством агрегатов. Показано, как JIT версии PostgreSQL 11 ускоряет запросы.

Setting up Streaming Replication in PostgreSQL
Авинаш Валларапу (Avinash Vallarapu) в блоге Percona рассказывает, как подготовить master и slave к потоковой репликации.

Upgrading to PostgreSQL 11 with Logical Replication
Петер Айзентраут (Peter Eisentraut) в блоге 2ndQuadrant обсуждает плюсы и минусы способа апгрейда инсталляции PostgreSQL: с помощью pg_dump и restore, или pg_upgrade, или задействуя логическую репликацию (в ядре). Затем подробно описывает, как настроить логическую репликацию.

Параллелизм в PostgreSQL: не сферический, не конь, не в вакууме
Статья по мотивам реального кейса у одного из заказчиков Postgres Professional. О диагностике и патчах, в том числе управляющими очередями блокировок LWLock.

Parallel PostGIS and PgSQL 11
В своем блоге Пол Рамси (Paul Ramsey) делится тестами PostGIS 2.5 на PostgreSQL 11, которые показывают, что некоторый прогресс в распараллеливании достигнут.

Partitioning Improvements in PostgreSQL 11
Альваро Эррера (Alvaro Herrera) обозревает патчи 11-й версии, имеющие отношение к секционированию.

Be careful with CTE in PostgreSQL
В этой статье предостерегают от бездумного использования CTE: побочным эффектом может стать резкое падение производительности.

Better PostgreSQL testing with Python: announcing pytest-pgsql and pgmock
Пользователи, сотрудники Clover Health представляют 2 утилиты: pytest-pgsql и pgmock.

Конференции и митапы


прошедшие

Материалы с встречи #RuPostgres — видеозаписи, презентации, разбор викторины и фотоотчёт
Митап был организован Авито, материалы выложены здесь. Доклады:

  • Стас Кельвич (Postgres Professional) рассказал про распределенные транзакции и путешествия во времени.
  • Константин Евтеев (Авито) выступил с докладом про масштабирование приложения на PostgreSQL в Авито и поделился tips and tricks.
  • Михаил Тюрин приготовил доклад о логической репликации и уровнях изоляции транзакций PostgreSQL.
  • Сергей Хандриков (Яндекс) рассказал слушателям о том, как устроена OZO, асинхронная типобезопасная header-only библиотека-клиент PostgreSQL для C++17.

будущие

PostgresConf South Africa 2018
пройдет в Йоханнесбурге 9-го октября.

PostgreSQL Conference Europe 2018
состоится 23–26 октября в Лисабоне.

PGConf.Сибирь 2018
Пройдет 12–13 ноября в Красноярске. Темы конференции:

  • Опыт использования PostgreSQL в различных сферах
  • Опыт осуществления перевода на PostgreSQL информационных систем, работающих с другими СУБД
  • Опыт разработки системного инструментария для PostgreSQL
  • Высоконагруженные проекты на основе PostgreSQL
  • Использование PostgreSQL в web-проектах
  • «Большие данные» и PostgreSQL
  • Администрирование PostgreSQL
  • Использование PostgreSQL в преподавании в вузах, колледжах и школах.

PGConf.ASIA 2018
ожидается 10–12 декабря в Токио,


Подписывайтесь на канал postgresso!

Идеи и пожелания присылайте на почту: news_channel@postgrespro.ru
Предыдущие выпуски: #9, #8, #7, #6, #5, #4, #3, #2, #1

© Habrahabr.ru