Nvidia и закон Мура. Мур умер, да здравствует Хуанг
Что такое Закон Мура
В 1965 году одним из основателей компании Intel, Гордоном Муром была отмечена эмпирическая закономерность, согласно которой число транзисторов на кристалле чипа удваивается каждые 12 месяца. В 1975 году Гордон Мур внес коррективы в данное правило, обозначив, что число транзисторов на кристалле удваивается каждые 24 месяца. С тех пор данная закономерность именуется законом Мура.
Графическое представление закона Мура на логарифмической шкале.
Важно понимать, следование данному закону обеспечивает экспоненциальный рост числа транзисторов на кристалле чипа.
Закон Мура продолжал действовать на протяжении 50 лет, но в последнии годы многие стали считать, что данный закон больше не исполняется и темпы роста числа транзисторов на чипах, а как следствие и темпы роста производительности заметно снижаются.
Почему Nvidia?
Что — бы подтвердить и опровергнуть данное наблюдение мною было проведено исследование всех флагманских видеочипов Nvidia, выпускавшихся с 1998 по 2022 годы. Видеокарты Nvidia были выбраны для анализ по нескольким причинам: 1) Большая важность GPU для индустрии ИИ и машинного обучения. 2) Большая доступность данных о них, по сравнению с центральными процессорами. 3) Личный интерес к этому классу устройств.
Изучаем видеокарты
Были получены данные о следующих характеристиках видеокарт: Количество транзистор на чипе, количество транзисторов на квадратный миллиметр чипа, pixelRate, textureRate, производительность во Flops с одинарной точностью, и число Flops на 1 ватт TDP. На основе полученной информации были построены графики, которые демонстрирую экспоненциальный рост всех указанных показателей на данном временном отрезке.
Графики. Графики. Графики
Число транзисторов на GPU (Riva TNT — RTX 4090)
Красная линия — идеальная экспонента
Как видно, почти все значения ложатся на экспоненту, особенно заметен резкий скачок при переходе на архитектуру Ada Lovelace, при котором число транзисторов на кристалле GPU увеличилось в 2,7 раза за 1 поколение (1 год).
Плотность размещения транзисторов на 1 мм^2 чипа GPU. (Riva TNT — RTX 4090)
Красная линия — идеальная экспонента
По графику плотности размещения транзисторов можно понять, что резкий скачек плотности размещения транзисторов и возвращение к экспоненциальному росту после некоторой стагнации произошло с выходом архитектуры Ampere (3090Ti). А переход к архитектуре Ada Lovelace вовсе позволил обогнать ожидаемый экспоненциальный рост. Этот факт иллюстрирует так называемый «закон Хуанга», согласно которому рост производительности GPU, происходит быстрее роста производительности CPU (которое ожидаемо экспоненциально или даже слегка отстает от экспоненты).
Pixelrate (Riva TNT — RTX 4090)
Значения Pixelrate и Texturate также демонстрируют экспоненциальный рост, хотя для современных видеокарт они не являются важными показателями производительности.
Производительность видеокарт в GFlops с одинарной точностью (8800Ultra — RTX 4090)
На мой взгляд самым интересным показателем является производительность во Flops. Так как, это выражение чистой математической производительности. И именно она важна для решения задач напрямую не связанных с графикой. А как мы можем видеть она тоже подчиняется правилу экспоненциального роста. Отмечу, что на данном графике находятся только видеокарты, начиная с 8800Ultra, так как для более старых моделей данные об этом показателе недоступны.
Другим важным показателем является производительность на Ватт. И зачастую именно он вызывается наибольшее беспокойство, так как в современных видеокартах значения энергопотребления и тепловыделения значительно выросли по сравнению с предыдущими поколениями. Но не смотря на это производительно на Ватт также экспоненциально растет. Поэтому беспокойство по этому поводу мне видеться не совсем обоснованным.
Вывод
Подводя итог, отмечу, что беспокойство по поводу снижения скорости роста производительности чипов является необоснованным. Ведь темпы роста производительности и числа транзисторов на кристалле не только подчиняются экспоненциальному росту, но и обгоняют его. Поэтому можно сказать, что закон Мура мертв, а закон Хуанга пришел ему на смену. По крайней мере в области GPU.
В будущем планируется выход подобной работы по мобильным SOC Apple.
Ссылка на таблицу с исходными данными
