Il Palazzo Caffarelli al Campidoglio, con ingresso in via della Tre Pile n. 3, fu costruito su progetto di Gregorio Canonico fra il 1576 e il 1583 per Giovanni Pietro I Caffarelli che aveva dicevuto in dono dall'imperatore Carlo V il terreno sul Campidoglio al di sopra della Rupe Tarpea, alle spalle di Palazzo dei Conservatori.
Si tratta del terreno sul quale sorgeva il tempio di Giove Capitolino, uno dei monumenti più importanti della Roma arcaica, costruito secondo la tradizione dai Tarquini. Il Caffarelli lo ricevette come ricompensa per l'ospitalità e i servizi offerti all'imperatore durante la sua permanenza a Roma.
Nel 1823 il palazzo fu affittato all'ambasciata di Prussia che vi fondò l'istituto archeologico germanico ed altre istituzioni. La Prussia acquistò il palazzo e l'intero versante occidentale del Campidoglio nel 1853 nonostante l'opposizione della Chiesa e del Comune di Roma. Il tutto tornò al Comune, comprese le costruzioni dei Prussiani, nel 1918 alla fine della prima guerra mondiale.
Attualmente palazzo Caffarelli ospita una parte dei Musei Capitolini con la caffetteria panoramica che sfrutta la straordinaria vista sulla città visibile dalla terrazza del palazzo.