Павел I торопил и ускорял строительство. В этих целях Винченцо Бренна получил чин статского советника, ему в помощь направлены Чарльз Камерон и Джакомо Кваренги. Кроме того, вместе с Бренной работали Е. Соколов, И. Гирш и Г. Пильников. Для ускорения работ сюда были переброшены строительные материалы, предназначенные для других строек: декоративный камень, колонны, фризы и скульптуры из Царского Села и Академии художеств; со стройки Исаакиевского собора — фриз, который поместили над главными воротами; из Таврического дворца — наборный паркет. На этом фризе расположена надпись: «ДОМУ ТВОЕМУ ПОДОБАЕТЪ СВЯТЫНЯ ГОСПОДНЯ ВЪ ДОЛГОТУ ДНЕЙ». Существует легенда, что смерть Павла I была предсказана, якобы количество лет императора будет равно количеству букв в тексте этого изречения. Было предсказание или нет — сказать точно невозможно, но факт совпадения налицо.