Gizzard - framework for creating distributed datastores
Ребята из Twitter выложили на GitHub свой фреймворк для управления шардингом, написанным на Scala. Пишут, что поддерживает не только реляционные базы данных, но и Lucene, Redis и "все что вы можете себе представить".
http://github.com/twitter/gizzard