据陈定山《春申旧闻》载：“陆小曼体弱，连唱两天戏便旧病复发，得了昏厥症。翁瑞午有一手推拿绝技，是丁凤山的嫡传，他为陆小曼推拿，真是手到病除。于是，翁和陆之间常有罗襦半解、妙手抚摩的机会。”陆小曼在翁瑞午给她推拿治病的时候曾问他：“瑞午，你给我确实有效，但你总不能时时刻刻在我身边啊，你不在的时候万一我发病的话，有什么办法呢？”
翁瑞午想了一下，对陆小曼说：“有是有办法的，但这个办法是没有办法的办法，不到万不得已是不好采用的。”陆小曼连问是什么办法，翁瑞午就说：“吸鸦片。”陆小曼一听是这个馊主意，就大骂瑞午害人。但是，后来看到翁瑞午一直在吸，而且很有味道，自己又老是犯病，一时控制不住，慢慢地吸上了。她自己也知道这是一个坏习惯，可一旦上瘾，就无法控制自己了。她和翁瑞午两人，常常一起在客厅里的烟榻上隔灯并枕，吞云吐雾。
尽管陆小曼对徐志摩的感情是深厚的，但她仍旧离不开翁瑞午，离不开阿芙蓉。徐志摩死后，她为了自己，更难以摆脱鸦片的习好，为此，她还坐过一夜班房。
陆小曼在徐志摩死后，与翁瑞午同居是事实。在上海中国画院保存着陆小曼刚进院时写的一份“履历”，里面有这样的词句：我29岁时志摩飞机遇害，我就一直生病。到1938年35岁时，与翁瑞午同居。翁瑞午在1955年犯了错误，生严重的肺病，一直到现在还是要，医药费是很高的，还多了一个小孩子的开支。
我又时常多病，所以，我们的经济一直困难。翁瑞午虽有女儿给他一点钱，也不是经常的。我在1956年之前一直没有出去做过事情，在家看书，也不出门，直到进了文史馆。这样一来，时间和事实都已很明确，陆小曼因此受到外界的强烈指责。翁瑞午对她仍是一往情深，只要小曼开心，他什么都能替她办。
尽管陆小曼说她对翁瑞午“只有感情，没有爱情”，但她对待感情，也是认真而坚强的，决不三心二意。当时许多朋友不赞成她和翁瑞午的这种关系，要她与翁断交。
胡适便是其中最主要的一个。他向陆小曼提出，只要她与翁瑞午断交，以后一切由他负全责。陆小曼委婉地拒绝了他的要求，她当时对人说：“瑞午虽贫困已极，但始终照顾得无微不至，二十多年了，吾何能把他逐走呢？”陆小曼与翁瑞午一起“生活”了二十多年，有一些感情，但也有烦恼。因为翁瑞午没有抛弃发妻，就得两头照顾。
