到了绍兴，他的朋友李孝光想推荐他为府吏。王冕却婉拒道：“我有田可耕，有书可读，岂肯到别人家里任人使唤。”
随后，他的母亲想回老家。为了使母亲回去得风光些，清贫的王冕便依照《楚辞图》上屈原的样子，给自己做了一顶极高的帽子和一件宽大的衣服，又买了一乘牛车载上母亲，唱着山歌把母亲送了回去。
山洞避官
到了元朝后期，朱元璋率领的农民起义军平定了婺州后攻克越州，并屯兵枫桥九里村，朱元璋因闻得王冕的大名，便派大将军胡大海去请隐居的王冕出山，准备授予王冕咨议参军的职务。
王冕得知朱元璋要请自己做官，非但没有欣然接受，反而带着一家老小收拾东西连夜逃到离九里村三十里之遥的赵家镇赵家新村躲了起来。
赵家新村的村西有一座酷似大象和一座酷似狮子的山。此前，王冕曾多次到赵家镇的上京村荐福寺山上拾花乳石，作为治印的材料。因此，他对这一带的地形非常熟悉。
逃到这里的王冕和妻小在象鼻洞口内支起一根木柱，在洞顶又架起一根横梁，还在洞口反搭起一张草坡，取名“一柱屋”，在山洞里过起了拒官生活。
尽管王冕躲到了象鼻岩山的洞中，但是胡大海还是带着朱元璋的委任状，把王冕的躲藏地点找到了。但是，胡大海来到象鼻岩下时，却看到洞上挂着一块木匾，上面写着“白云庵”三个大字。一推开洞门，只见王冕双目微闭，双手合十，正襟危坐在一个蒲草团上，口中还念念有词。