Lee är en vaktmästare från Boston som återvänder till sin hemstad Manchester-by-the-Sea för att ta han om sin 16-åriga brorson Patrick när hans äldre bror Joe går bort. Väl hemma påminns han om det för flutna som tvingade honom att bryta upp med sin fru och det samhälle där han är född och har vuxit upp. Tillsammans tvingas Lee och Patrick kämpa för att anpassa sig i en värld utan Joe.