Wie der Name schon sagt, wurden die viktorianischen Häuser während der viktorianischen Ära (1849-1915) gebaut. In der Stadt soll es bis zu 48.000 davon gegeben haben, aber viele wurden bei dem Erdbeben von 1906 und dem anschließenden Brand zerstört, insbesondere im Stadtteil Nob Hill. Weitere 16 000 wurden während des Zweiten Weltkriegs abgerissen, von denen viele für militärische Zwecke genutzt wurden. Heute sind noch 14.000 übrig, vor allem in den Stadtteilen Alamo, Haight Ashbury, Russian Hill und Castro.
Wussten Sie das schon? Viktorianische Häuser werden auch Painted Ladies genannt, nach dem Buch "Painted Ladies - San Francisco's Resplendent Victorians" von Elizabeth Pomada und Michael Larsen.