Родната къща на Елин Пелин в с. Байлово е построена в годините преди Освобождението, а частта, в която днес се помещава музейната експозиция, е пристроена от Христо – брат на Елин Пелин. В приземния етаж бащата на писателя – Йото Варджията, е организирал и поддържал със собствени средства първото училище в селото. Къщата е изцяло реставрирана през 1977 г. по повод 100-годишнината от рождението на писателя.