Ella Beene es una bióloga de treinta y seis años que, tras una ruptura sentimental, se muda a un pueblo de California para empezar una nueva vida. Allí conoce a Joe y sus dos hijos, Annie y Zach. Con ellos compartirá tres años repletos de felicidad y alegría, hasta que la trágica muerte de Joe, se lleva con él todos sus secretos. Ella se niega a aceptarlo y siente que su mundo se viene abajo, pero los niños la necesitan más que nunca y no piensa abandonarlos. Cuando tú no estés explora la compleja relación entre dos mujeres que se consideran madres legítimas de los mismos niños, a la vez que se adentra en el complejo mundo de los sentimientos y las emociones humanas de un modo cautivador.