饒宗頤文化館是三級歷史古蹟。它的前身經過多次修葺改建，終於在二零一二年成為饒宗頤文化館。 　　十九世紀末還未填海時，（誰？）就在文化館的原址建築了一個涼亭般大的海關，建築很簡陋。但現時那裏已不見海和海關。 　　二十世紀初，海關改建成「豬仔館」。華工被「賣豬仔」到東南亞等地區時要在香港暫住，因而出現了「豬仔館」。後因英國政府禁止招聘華工，「豬仔館」在兩年後荒廢。 　　一九一零年，「豬仔館」再改建成控制疫症蔓延的隔離站。十年後又改建成女子監獄。 　　一九三八年，監獄修建成傳染病院，並在一九四八年改名為「荔枝角醫院」。二零零零年，「荔枝角醫院」變成「荔康居」，最後再變成現時的饒宗頤文化館。 　　雖然建築角色不同，但在同一地址上回應當時社會需要，由簡陋的小海關，變成一座可以住、食、參觀和紀念歷史和文化的饒宗頤文化館。