和他的儿女们，龃龉似乎更深。勒鲁瓦·博利厄氏曾在亚斯纳亚·波利亚纳见过托尔斯泰，说“在食桌上，当父亲说话时，儿子们竟不大遮掩他们的烦恼与不信任”。他的信仰只稍稍感染了他的三位女儿，其中一个，他最爱的玛丽亚，那时已经死了。他在家人中间，精神上是完全孤独的。懂得他的“仅有他的幼女和他的医生”。
他为了这思想上的距离而苦恼，他为了不得不敷衍的世俗的交际而苦恼，世界上到处有人来访问他，那些美国人，那些趋尚时髦的轻浮之士使他非常厌倦；他亦为了他的家庭生活所强迫他享受的“奢侈”而苦恼。如果我们相信在他家里见过他的人的叙述的话，那么最低限度的奢侈不过是，严肃冷峻的家具，他的小卧室内放着一张铁床，四壁光秃无一物！但这种舒适已使他难堪：这是他永远的苦恼。在《法兰西水星》的第二短篇中，他悲苦地把周围的惨状和他自己家中的享用作对比。
一九〇三年时，他已写道：“我的活动，不论对于若干人士显得是如何有益，已经丧失了它大半的重要性，因为我的生活不能和我所宣传的主张完全一致。”
