Facebook открыла код решения CacheLib для кэширования на энергонезависимой памяти
Facebook открыла код для кэширования данных, который позволяет не полагаться на DRAM для их хранения. Данные поступают на твердотельные накопители NVM.
«Поскольку традиционные кеши динамической памяти с произвольным доступом (DRAM) становятся более дорогими и требуют большей мощности для масштабирования, такие компании, как Facebook, изучают варианты оборудования, такие как накопители с энергонезависимой памятью (NVM), чтобы расширить свои системы кэширования», — заявила компания.
В Facebook отмечают, что гибридная модель DRAM и NVM является шагом вперед, но необходимы новаторские методы, чтобы использовать весь потенциал гибридного кэша. Для этого потребуются новые исследования процесса, которые «должны раздвинуть границы традиционных систем, определяя релевантный контент для кеширования на нужный срок».
Инструмент Facebook под названием CacheLib с открытым исходным кодом выложили на GitHub. Компания также выпустила CacheBench, «инструмент тестирования для оценки производительности кэширования при различных рабочих нагрузках».
Facebook опубликовала техдокументацию по CacheLib. Библиотека C ++ CacheLib позволит разработчикам создавать и настраивать масштабируемые и параллельные кеши с помощью простого API.
Компания отмечает, что CacheLib уже используется в более чем 70 крупномасштабных системах Facebook, включая социальный граф, сеть доставки контента, хранилище и другие. Twitter работает над интеграцией CacheLib в Pelikan.io, чтобы использовать SSD для кэширования объектов в своей инфраструктуре. Pinterest оценивает внедрение CacheLib в свои системы инфраструктуры машинного обучения для повышения производительности прогнозирования и стабильности системы. Исследователи из Университета Карнеги-Меллона, Принстонского и Йельского университетов используют CacheLib и CacheBench для прототипирования исследовательских идей.
Компания предполагает, что CacheLib и CacheBench «потенциально могут стать отраслевым стандартом для кэширования»: «На сегодняшний день наше сотрудничество с исследовательскими университетами, производителями оборудования и программными компаниями дало существенные результаты, которые показывают ценность этого инструментария».
Facebook также работала с Intel, KIOXIA, Samsung и Western Digital «над стандартизацией и улучшением технологий SSD, которые позволяют улучшить решения для кэширования», и эти усилия стали частью спецификации NVMe Cloud SSD Open Compute Project.
«Эта спецификация вместе с CacheLib поможет адаптировать будущие технологии NVM для кэширования рабочих нагрузок в отрасли», — заключают в Facebook.
СМИ сообщали, что в третьем квартале этого года вырастет стоимость модулей DRAM и NAND. Чипы DRAM уже подорожали более чем на 20% во втором квартале; микросхемы DRAM для ПК — на 25%. Ожидается, что в следующем квартале цены на них вырастут еще на 20%, в то время как цены на NAND — на 10%.
