Этот дом был построен в 1790-е годы предположительно архитектором Петром Васильевым и был изначально одноэтажным. Его первым владельцем стал Иван Жмаев — купец и городской голова Перми. После смерти Жмаева в 1807 году дом унаследовала его дочь Мария и ее муж — пермский губернский казначей Дмитрий Дягилев — дед Сергея Дягилева. При доме были сад и оранжерея с абрикосовыми, персиковыми деревьями и виноградными кустами. Оранжерею разделяла беседка в виде башни с куполом. Позже Дмитрий Смышляев купил этот дом у наследников Дягилева. Во время пожара 1842 года дом был полностью уничтожен. Смышляев восстановил здание на прежнем фундаменте, надстроив второй этаж. С 1863 года по 1877 год в здании располагались банки и Купеческий клуб. После 1864 года Смышляев продал дом Пермскому казначейству и уехал в Палестину. В здание въехала Пермская городская дума, помещения на втором этаже получила городская общественная библиотека. Постепенно она расширялась и в итоге заняла все этажи. Сейчас здание занимают библиотека имени Пушкина и детская библиотека имени Кузьмина. Считается, что именно этот дом изображен в романе «Доктор Живаго» Бориса Пастернака как «Юрятинская городская библиотека». В годы советской власти был утрачен герб города Перми на угловом фронтоне здания. В 2017 году его восстановили.
В годы советской власти был утрачен герб города Перми на угловом фронтоне здания. В 2017 году его восстановили.