Postgresso за 2024
Что было в Постгрессо в 2024? Как всегда, трудно выбрать из всех номеров интересные темы, чтобы не обидеть темы другие, кому-то не менее интересные. Но за дело, а то уж Новый Год на носу.
ЯНВАРЬ
Postgresso 1 за 2024 (62)
Начался год плохо:
Умер Никлаус Вирт
»1-го января этот мир покинул Великий человек — Никлаус Вирт (Niklaus Emil Wirth). Его создания: Pascal, Algol-W, Euler, Modula-1, 2, Oberon-1, 2. Но прежде всего Никлаус был главным идеологом программирования сверху вниз, структурного программирования. А в этом интервью Никлаус прежде всего очаровательный человек. Который когда-то играл в железную дорогу и мечтал стать машинистом локомотива.»
Shardman
В январе в документации по Postgres на сайте Postgres Professional появился 5-й столбец: Shardman. Всего пока 2 строчки — 2 релиза. Сейчас их там уже дюжина, самый молодой — Postgres Pro Shardman 14.15.2
Badass Elephant
Из январского номера мы узнаём, что Тембо — имя лихого слоника из игры Tembo the Badass Elephant. Основатель и гендир Рай Уокер (Ry Walker) объявил о доступности Tembo Cloud, а в начале января взяли на работу Дэвида Уилера (David E. Wheeler) — основателя PGXN (PostgreSQL Extension Network). Компания | кампания настолько активная и шумная (в маркетинговом смысле), что кажется: они существуют уже … годы во всяком случае, не год с небольшим.
PG-футурология
Thoughts on PostgreSQL in 2024
В своём блоге Джонатан Кац говорит, что хотел совсем чуть-чуть попредсказывать, но увлёкся — получилась немаленькая статья. Год назад это было интересно потому, что это было тогда. А сейчас это интересно потому, что это было … тогда, то есть год назад. Начинал он с логической репликации — ну да, здесь всё успешно развивается. А вот тема HA (High Availability) актуальна в не меньшей степени, но напомним статейку из декабрьского, свежайшего Postgresso: PG Phriday: Kubernetes Killed the High Availability Star.
ФЕВРАЛЬ
Postgresso 2 (63)
The Future of Databases. 8 Data Management Trends
Ронан Макквиллан (Ronan McQuillan, Budibase) насобирал 8 трендов. Первый из них — serverless. Ну что же, вот в декабрьском о бессерверной AWS-овсокой Авроре с Distgributed SQL.
Hello DBOS — Announcing DBOS Cloud
«Майкл Стоунбрейкер объявил, что пора перевернуть пару ОС/СУБД вверх ногами: теперь не база будет поверх операционной системы, а наоборот: ОС поверх СУБД. Что в этом заявлении от маркетинга, а что от технологий, пока сказать трудно.»
Теперь можно сказать, что о DBOS знают, есть солидная статья в вики, статья DBOS: A better way to build applications? в InfoWorld и др. статьи. И на хабре не проспали. Но если заглянуть на гитхаб DBOS Inc, то активность там проявляют трое: Алекс Поляков (Alex Poliakov) aka apoliakov, Питер Крафт (Peter Kraft) aka kraftp и Сян Ли (ну может и не Сян — ещё не освоил китайскую транслитерацию — Qian Li) aka qianl15. Люди не посторонние: 2 из 3 статью писали с наглядными картинками: DBOS: A Database-Oriented Operating System. Активность не то, чтобы сверхвысокая. Ну, а на сайте: у нас всё serverless, у нас всё быстро и удобно, ни слова про ОС поверх СУБД.
Образование
В том феврале на сайте Postgres Professional опубликована была электронная версия книги Владимира Комарова Путеводитель по базам данных(позже появилась, конечно, и бумажнаяв издательстве ДМК Пресс — об этом уже майском номере).
О честных мультимастерах. Что (не) делать с высокодоступными кластерами
Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL. Части1, 2 и 3.
Это серия статей, написанная Михаилом Жилиным (@mizhka) и Павлом Конотоповым (@kakoka) — сотрудниками компании Postgres Professional. Михаил занимается анализом производительности СУБД, Павел — архитектурой построения отказоустойчивых кластеров.
МАРТ
Postgresso #3 (64)
Опять печальная новость:
Remembering Simon Riggs
Саймон очень яркая личность, активнейший участник сообщества. Он основал 2ndQuadrant и уже только этим вошёл бы в историю Postgres.
Саймон с невероятной энергией пробивал в сообщество фичи, которые считал важными для сообщества и для собственной компании. Одному из эпизодов мы посвятили отдельную статью: Битва при MERGE. Хроника с выводами и моралью. Это был целый триллер.
Артур Закиров — персона недели
Interview with: Artur Zakirov | PostgreSQL Person of the Week
»Я начинал с MS SQL Server. После 6 лет работы с ним я стал разработчиком в Postgres Professional. Там я активно работал над Postgres Pro, в том числе над новыми фичами. Некоторые из них и из исправленных багов попали и в основную ветку PostgreSQL.»
»Сейчас я в Берлине, работаю в Adjust. А вырос я в посёлке в Башкортостане, окружённом зеленью, вдали от городской суеты. Тогда я и не думал переселяться в большие города. Теперь мне трудно представить себя живущим вне большого города. В Берлине я поселился 3 года назад, до того год работал в Токио.»
PG-постапокалипсис
Это небольшой набор статей о восстановлении:
Recovering Deleted Data From PostgreSQL Tables.
Recovering from Data Loss Despite Not Having a Backup: A Postgres True Story.
How I did (not) recover from a data loss (featuring ZFS, LXD and PostgreSQL).
Восстановление повреждённых данных.
В этой презентации симпатичная картинка:
Свой DBaaS
Как мы делаем свой DBaaS
Автор представился как @Loxmatiymamont, «ну Мамонт так Мамонт, почти Слон.» Он ещё много раз станет героем наших обзоров. Мамонт говорит (в марте), что продукт в процессе разработки, поэтому хочется узнать мнение читателей и послушать пожелания.
А 9 октября на конференции PGConf.Academia 2024 я слушал доклад Использование DBaaS в учебном процессе Университета ИТМО. Наталья Графеева, кандидат физико-математических наук, доцент ИТМО, соавтор книжки Основы технологий баз данных (Б.А. Новиков, Е.А. Горшкова, Н.Г. Графеева; под ред. Е.В. Рогова, рассказала, что Университет ИТМО впервые использовал в учебном процессе сервис DBaaS, который предоставил доступ к СУБД Postgres Pro версии 15.
Об этом мы писали не в Postgresso, а в специальном выпуске Конференции PGConf.СПб 2024 и PGConf.Academy.
Анонс дела «закрытая дверка»
Security lessons from liblzma — такова тема ветки, которую стартовал Брюс Момджан в рассылке hackers. Андрес Фройнд (Andres Freund) проделал потрясающую работу по обнаружению дыры (backdoor), но надо и нам что-то делать, чтобы уже на 100% обезопасить и себя от аналогичных попыток - примерно так говорят в сообществе. Мы следим с замиранием сердца за развитием событий и расскажем об этом в следующем выпуске.
Мы не обманули наших читателей:
АПРЕЛЬ
Postgresso #4 (65)
Фройнд не дремлет, а проспали многие
«Андреас забил тревогу он после того, как обнаружил потерю производительности при тестировании. Разобрался, где источник неприятностей, и толково изложил всё в письме в компанию Openwall, занимающуюся безопасностью Linux. На хабре есть перевод письма Андреса Фройнда: Бэкдор в основной версии xz/liblzma, ведущий к компрометации SSH-сервера. Реакция была быстрой.»
Разбору этого драматического события мы посвятили 6 небольших абзацев. Но разгорался в это время ещё один сюжет, от которого круги по воде расходились аж до Postgresso #6 (67). Да, пожалуй, зыбь докатилась и до наших дней:
Коммитфесты отжили свой век?
Такое даже выговорить страшно. И, тем не менее, один из самых уважаемых людей в сообществе поставил вопрос так:
commitfest.postgresql.org is no longer fit for purpose — коммитфесты больше не выполняют свои функции. Так он, Роберт Хаас (Robert Haas), написал 16 мая в список рассылки pgsql-hackers.
Вы (может быть) спросите: что еще за машина времени? как это он в апрельском номере спросил 16 мая? Ну да, мы вовсе не жёстко следуем обозначенным временным рамкам. Апрельский номер вышел 22 мая и самые выдающиеся майские события туда попали.
Проблеме неэффективности коммитфестов мы тогда посвятили изрядную часть номера. Особенно конструктивным предложениям — их было немало.
Один из кругов от камня, дружески брошенного в воды сообщества Робертом привёл к шикарной инициативе. Это уже был другой месяц:
МАЙ
Postgresso #5 (66)
Новый жанр: прекоммитфест
На Saint HighLoad++ 2024 запланирован воркшоп Postgres Pre-Commitfest Party. Это была инициатива Андрея Бородина (Yandex Cloud) как путь разрешения проблем с коммитфестами, которые мы относительно подробно описали в предыдущем выпуске. Андрей предложил обсуждать грядущие патчи сначала вне инфраструктуры коммитфестов. Организаторам Highload++ понравилась идея, а в Postgres Professional поддержали, и теперь помогут советами Олег Бартунов (Major Contributor) и Фёдор Сигаев (Major Contributor и FreeBSD Contributor), люди опытные.
А вот это волны, попавшие уже в следующий номер Postgresso:
Волны расходятся с тех пор, как Роберт Хаас (Robert Haas, EDB) издал в интернете крик души. Волны отразились от берегов: от одного берега пошла волна pre-commitfest, от другого вот что … — ладно, всему своё время. Вернёмся в майский номер.
Олимпиады, состязания
XV Международная олимпиада в сфере информационных технологий «IT-Планета 2024»
Так почему-то называется большое видео, которое начинается с доклада Егора Рогова, директора по разработке образовательных программ в Postgres Professional. Сам доклад Егора (25-минутный) называется так:
Назад к основам. Должны ли мы понимать технологии, с которыми работаем.
«IT-Планета 2024»: задачи второго этапа по PostgreSQL — это тоже Егор. И это тоже:
Задачи третьего этапа по PostgreSQL.
(Немаленький блок о спортивно-программистских игрищах есть, кстати, и в Postgresso 8 (69), а в Postgresso #10–11 (71–72) есть о блистательной победе Котят и Роботов в MTC True Tech Champ 2024).
А вот и бег в самом буквальном из смыслов:
Фестиваль Спорта и ИТ
Фестиваль, который организует RUNIT, проходит с 2018 года:»для нас бег и ИТ — это неразделимые вещи, в основе того и другого — движение к цели. Спорт учит нас принимать быстрые и правильные решения и играть вдолгую».
Образование
На стыке 2023 и 2024 — вышла новая книга Мониторинг PostgreSQL Алексея Лесовского. И, конечно, регулярно подновляется книжка-малышка, сейчас готовится версия по PostgreSQL 17 — это уже 11-е издание, исправленное и дополненное. PostgreSQL (*) изнутри тоже обновляются: PostgreSQL 16 изнутри вышла в июне.
Миграция
Ну, об этом почти в каждом номере. В майском, наверное, самый объёмистый блок. Тут и собрание произведений Дипака Махто (Deepak Mahto) и разнообразные утилиты: pgCompare, db_migrator, DBMate 2.16, pgRoll 0.6.
ИЮНЬ
Postgresso #6 (67)
Итак: Волны расходятся с тех пор, как Роберт Хаас (Robert Haas, EDB) издал в интернете крик души. Волны отразились от берегов: от одного берега пошла волна pre-commitfest, от другого вот что: Robert Haas: Mentoring Program for Code Contributors.
Этот раздел называется:
Что делать?
В этом номере вообще названия разделов необычные: 150 Sloniks, А вот выдры — увы … , Ещё IT-бег, ИТ-пикники. Есть и обычные: миграция, книги, статьи, конференции. Но Что делать — самый большой.
Один из 150 Sloniks
А вот выдры — увы …
ИЮЛЬ
Postgresso 7 (68)
Из жизни малышей и гигантов
PGlite 0.2
Опенсорсный проект ElectricSQL явил маленькое чудо. Совсем маленькое: сервер PostgreSQL уместился в архив 3МБ — это WASM. В Postgresso 8 (69) мы добавили к компании постгрес-васмовцев под эгидой Supabase ещё и Lantern.
Ну, а гиганты? А вот. Из жизни НЕпостгресовых гигантов в данном случае. Мир Postgres уютный, хоть и большой. Но он часть вселенной. И Утиный раздел ниже — ещё одно окошко во внешний мир: How Uber migrated Petabytes of Data with Zero Downtime.
Postgres Pro Enterprise Manager 1.5
1 июля состоялся релиз версии 1.5. В этой версии PPEM (Postgres Pro Enterprise Manager) было 9 изменений.
Ещё в этом номере мы отметили, что в WAL-G 3.0.3уже полная поддержка OreoleDB. Создатель OrioleDB, Александр Коротков (Alexander Korotkov) писал 8 месяцев назад: я рад присоединиться к компании Supabase в комментарии к посту Supabase Acquires OrioleDB. Сайт Oriole жив, запись OrioleDB beta7: Benchmarks, подписанная Александром и Павлом Борисовым (Pavel Borisov aka pashkinelfe, работающий в Supabase) датирована 1 декабря текущего года, на их гитхабе появляется со своим кодом и Артур Закиров, о котором мы только что говорили в контексте Postgresso 3 (64).
Есть в номере раздел:
Постгрес и утки
Это о DuckDB, конечно. Там статьи:
Does PostgreSQL respond to the challenge of analytical queries? — Андрея Лепихова (Andrei Lepikhov), Unleashing Postgres for Analytics With DuckDB Integration Пола Лоуренса (Paul Laurence), сооснователя Crunchy Data, Postgres Powered by DuckDB: The Modern Data Марко Слота, его коллеги (Marco Slot).
АВГУСТ
Postgresso 8 (69)
Библиотечка ЛМ
Расшифровываем: библиотека не в программистском, а в исходном смысле, а ЛМ=ЛохматыйМамонт, который собрал уже солидную коллекцию своих статей на хабре.
Происки и антипроиски
PG_MEM: A Malware Hidden in the Postgres Processes — инженеры Aqua Nautilus опубликовали обнаруженное ими злокозненное ПО (malware), которое маскируется под PG_MEM, накидывает фиктивные нагрузки, чтобы замаскировать майнинг крипты. Злоумышленников они ловили на живца.
Как это «на живца»? Ну, почитайте. А что ещё за антипроиски? Это для красного словца, тут на самом деле ничего экзотического, просто полезные инструменты: pgdsat, pgspot 0.8.0.
Neon Autoscaling is Generally Available — за достижениями Neon стараемся следить и оповещать о них регулярно. А это было сильное заявление: к downscaling до 0 прибавился бесшовный upscaling.
Миграция (с СосновойШишки на Фонарь) расшифровывается как Migrating from Pinecone to Lantern.
ИИ — эта тема появляется у нас, конечно, регулярно. Самый большой блок по ней, пожалуй, в этом номере. И ещё вот за чьей деятельностью — программистской и медийной — стараемся следить пристально: postgres.ai. В тот раз: на замечательном Postgres FM обсуждались и такие эпизоды:
pgvector — с Джонатаном Кацем (Jonathan Katz), конечно — участником PostgreSQL Core Team, главным менеджером продукта в AWS и контрибьютором pgvector;
pgvectorscale — с Мэтом Арье (Mat Arye) и Джоном Прюиттом (John Pruitt) из Timescale.
СЕНТЯБРЬ
Postgresso 9 (70)
Вышел Официальный Релиз PostgreSQL 17. Сказав новшества давно известны (в том числе из обзоров Павла ЛузановаPostgreSQL 17: Часть 5, 4, 3, 2, 1), мы, однако сделали подборку статей, с этими новшествами связанных.
И More Release Note Details Брюса Момджана, и Enhanced Postgres Release Notes Грега Сабино Маллейна (Greg Sabino Mullane, Crunchy Data), и PostgreSQL 17 Unveiled: Key Highlights in Backup, Data Warehousing, Optimization & Logical Replication — беседа двух вице-президентов EDB: Брюса Момджана и Питера Айзентраута (Peter Eisentraut), и What’s so great about PostgreSQL v17? Лауренца Альбе (Laurenz Albe, Cybertec), и опять Postgres FM | Postgres 17 — Николай и Майкл (Nikolay Samokhvalov, основатель Postgres AI, Michael Christofides, основатель pgMustard) обсуждают новое в PostgreSQL 17 на своём Posgres.fm. И ещё, и ещё.
Рынок.ru
Не частая у нас рубрика. Postgres Professional и АО «Флант» объявляют о заключении стратегического партнерства.
Postgres Professional направит инвестиции в размере 3 млрд рублей в развитие экосистемы программных продуктов компании «Флант».
А что с Эльбрусом? Умничать я не стал, дал ссылки на Ведомости, на видео блогера Максима Горшенина, который сам некогда работал в МЦСТ — Что там с Эльбрусом? | Переход Микрона на российские станки и химию | ИТЭЛМА спасает страну! и Российская техника имеет внутри недоверенный зарубежный процессор.
Но далее меня пробило тогда на слезу и на «деревья были большими»:
Меня эта ситуация погружает в воспоминания и размышления: ведь в прошлой жизни я даже брал интервью у великого Бориса Арташесовича Бабаяна. Он меня очаровал тогда. Вот, чудом нашлось: моё интервью с Борисом Бабаяном, взятое, наверное, четверть века назад. А вот ещё и статья: «Эльбрус» растет (в Computerworld Россия, Издательство «Открытые системы»).
Ещё в этом номере есть огромный, странный список, где «вкладчики» разбиты по именам (взято из списка в релизе PostgreSQL 17):
Почёт вложившим свой труд в PostgreSQL.
Александры: Алексеев (Aleksander Alekseev), Кожемякин (Alexander Kozhemyakin), Коротков (Alexander Korotkov), Кузьменков (Alexander Kuzmenkov), Лахин (Alexander Lakhin), Пыхалов (Alexander Pyhalov), Шульгин (Alex Shulgin).
И так далее. Зачем? Захотелось. Но с мыслью, что кому-то по какой-то причине эта информация будет полезна.
ОКТЯБРЬ-НОЯБРЬ
Postgresso #10–11 (71–72) — так уж получилось.
Опять почти детективная история:
Работа над ошибками
Отмотаем плёнку немного назад: вышла новость, с восклицательным знаком, как обычно: PostgreSQL: PostgreSQL 17.1, 16.5, 15.9, 14.14, 13.17, and 12.21 Released!
Ура! Прикрыли дыру CVE-2024–10976. А Крейг Керстинс (Craig Kerstiens) предупреждает в блоге Crunchy, что не всё гладко: A change to ResultRelInfo — A Near Miss with with Postgres 17.1 — погорячились, не отследили совместимость некоторых расширений: TimescaleDB и Apache AGE уж точно. Пожаловался в том числе главный инженер Timescale. В статье Крейг объясняет, что это произошло из-за переделки структуры ResultRelInfo.
Но: дело уже прошлое — вышла 17.2 со свитой из более почтенных версий, где всё поправили. Но: история поучительная.
И вот релизы готовы, всё на месте: вышли «правильные» PostgreSQL: PostgreSQL 17.2. А также 16.6, 15.10, 14.15, 13.18, and 12.22 (12 — последний).
Подоспели иверсии Postgres Pro Standard 17.2.1 (и её сёстры — 16.6.1 и т. д.) тоже всё поправили.
PostgreSQL 18: Часть 1 или Коммитфест 2024–07
Статья Павла Лузанова про июльский коммитфест. Открывает цикл о новостях будущей, 18-ой, версии PostgreSQL. Есть перевод Александра Мелешко: PostgreSQL 18: part 1 or CommitFest 2024–07. Если какие-то темы мы стараемся не пропускать, то статьи-обзоры коммитфестов Павла мы не пропускаем никогда:)
В этом номере много о конференциях. Больше всего о PostgreSQL Conference Europe 2024 в Афинах. Кроме всего прочего есть огромная коллекция видео на YouTube по тегу #pgconfeurop2024 — там 60(!) видео, открывается как плейлист. PGConf.EU 2024 in Athens, Extension Summit, OpenStreetMap talk, and others — обозревает Джимми Анджелейкос (Jimmy Angelakos).
Там же случилось социальное событие: учредили DTF — Diversity Task Force. DTF — структура временная, но деятельность в этом направлении будет постоянной, поясняют организаторы.
PGCONF.UZ 2024 — прошла 18 ноября в Ташкенте, в Университете Инха на улице Зиелилар. Первая такая конференция. Доклады на русском. 100 с лишним участников собрались в стенах Инха, остальные подключились онлайн.
К конференции вышла Малютка в переводе на узбекский:
И ещё интересные (и даже неожиданные) переводы готовятся. Но обнародовать рано.
ДЕКАБРЬ
Postgresso #12 (73)
Aurora DSQL
AWS Announces New Database Capabilities Including Amazon Aurora DSQL- the Fastest Distributed SQL Database
Мэт Гарман (Matt Garman), гендир AWS, объявил на сборище re: Invent в Лос-Анджелесе в присутствии 60 тыс. очных и 400 тыс (это ж почти полмиллиона!) онлайновых гостей о принципиально новой, геораспределённый СУБД Aurora DSQL. Более того: это была его инаугурационная гендирская речь. Так что ставки высоки. Видео есть на сайте re: Invent. Документация Aurora DSQL здесь.
Главная целевая аудитория — те, у кого приложения, обслуживающие миллионы клиентов по всему Земному Шару. Атомные часы, бессерверность и прочие красоты.
Все обсуждают сомнительную (но громко заявленную) совместимость с Postgres.
Например, Марк Брукер (Marc Brooker), он работает в AWS в Сиэттле: DSQL Vignette. Aurora DSQL, and A Personal Story и Тим Андерсон (Tim Anderson, представляет сайт DevClass): Amazon explains absence of familiar features in 'PostgreSQL compatible' Aurora DSQL.
Опять подглядывали
Это об ежегодном обзоре Timescale: A Sneak Peek Into the State of PostgreSQL 2024.
Фактор автобуса
Риджина Оби (Regina O. Obe) пишет: одна из главных проблем опенсорсных проектов — The bus factor problem, и я много думала, как это соотносится с командами моих PostGIS, pgRouting и OSGeo System Administration (SAC).
Неужели все кроме меня знают, что это за жуткий фактор? Мера сосредоточения информации среди отдельных членов проекта; фактор показывает количество участников проекта, после «попадания» которых под автобус или грузовик проект выживет.
И Регина набросала, что может стать страховкой для этих автобусов.
Autobase 2.1.0
Основатель и техдир Виталий Кухарик — vitabaks (Vitaliy Kukharik). Но это ребрендинг: был проект postgresql_cluster — теперь у него статус форка от Autobase и лежит он на гитхабе уважаемых нами postgres-ai.
Postgres Pro Enterprise 16.6.1
Много исправлений и улучшений существующего. И много нового. Вместе с ней вышли, соответственно, 15.10.1, 14.15.1, 13.18.1 и 12.22.1.
Но самое интересное будет в Postgres Pro Enterprise 17. Её представят на новой конференции - PGProDay 2025, — пишем мы в этом номере.
И вот новость, которой в Postgresso не было, но жалко её упустить: только что вышел
Postgres Pro Enterprise 17.2.1
Успели в 2024:) Но здесь мы о нём больше писать не будем — это уже будет в январском.
С НАСТУПАЮЩИМ, ДОРОГИЕ ЧИТАТЕЛИ!
