Al centre del poble hi ha el gran castell de Concabella, casal senyorial de planta quadrada, amb pati interior, noble portalada, finestrals renaixentistes i dues torres quadrades.
El poble de les Pallargues es troba en un tossal a la dreta del riu Sió, agrupat a redós del temple parroquial i, al migdia, del gran casal o castell que s’aixeca al punt més alt.