他的屈辱是在1810年的春天,萨瓦里担任当地警察时。他发挥了自己与拿破仑的关系和自己的能力，镇压了雅各宾派，使雅各宾派不再那么嚣张狂妄。他由此成为了一个名副其实的宗教裁判员。之后的两位夫人由于破坏他的工作，使得萨瓦里和Malet将军报复了两人,最后被两个的南方人抓获了他们在床上的罪行。之后，萨瓦里的声誉因为这件事而一直没有恢复过来。即便是这样，拿破仑还是授予他duche grand-fief的一种职务(一种罕见的荣誉,但在1872年撤销)。在意大利担任了罗维戈公爵。
当他在沙漠中执行任务得知了法兰西第一帝国皇帝退位的时(1814年4月11日),马上返回法国前往了厄尔巴岛,之后他成为了路易王朝的法国宪兵和监察长。滑铁卢战役之后,他陪同皇帝和随行几人前往普利茅斯。但是当地英军不允许他陪同拿破仑前往圣赫勒拿,之后的几个月里他被囚禁在了马耳他岛。之后萨瓦里逃离了那里,他在阿拉伯的士麦那居住了一段时间，虽然他在这段时间里有或多或少的生活压力，但后来最终被允许返回法国恢复公民权利。最后，他定居在了罗马。