可是他也有一件事情耿耿于怀，那就是出身卑贱，发迹前只是个卖水果的小贩。出身与今日地位如此不相称，这怎么行？于是有人建议他修家谱、建祠堂。不久，祠堂就大张旗鼓地在浦东建起来了。接下来的问题是不知该供奉哪一位神主。杜月笙连自己近代祖上先辈的名字都不知道，哪里有什么家谱？于是他请来了一批文人出谋划策，其中就有曾为袁世凯复辟效力的“洪宪六君子”之一杨度。

　 杜月笙表示此次选祖宗并非只为图个空名，而是要在杜姓名人中找到一个知名度配得上他的祖宗。这帮文人于是尽心尽力地从古今辞书中搜寻两位合适的历史人物让杜月笙最后定夺：一个是晋朝大将杜预，另一个是唐朝宰相杜如晦。杜对这两位候选人都很赏识，一时间也难以取舍。又经过一番比较、讨论，有人提出杜预距今年限太远，若续到现在宗谱上得填补不少人名，不如选杜如晦。杜月笙表示同意，但杨度又提出异议，他说：“‘晦’字是阴暗不明，如今宗祠落成，头一个祖宗就来个‘晦’字，不吉祥。”杜月笙恍然大悟，连夸杨度考虑周全，于是杜如晦也被否定。一切只好推倒重来，最终选了唐代大诗人杜甫作了祖宗，也不失为附庸风雅。