湖南省凤凰县人，土家族，1924年生于湖南省凤凰县城文星街文庙巷的“古椿书屋”。其父母都曾接受新式教育。他自幼与文学艺术结下不解之缘。少时替熊希龄办事，有机会跟父亲游历沈阳、哈尔滨、张家口、上海、杭州、武汉、广州等大城市，见多识广。

　　1937年，他“迈着小小的、十二岁男人的脚印，在一个轻率的早晨，离开那永远宠爱我的、微笑里的故里”，到福建厦门投靠族叔，就读于陈嘉庚先生创办的集美中学。抗日战争全面爆发后，学校迁至福建安溪县，在那里读了几年书，后在福建的仙游、清化等地流浪。曾在清化县山区的小型瓷器作坊里做小工，由于地方的贫困和老板的刻薄，每顿只能吃竹笋稀饭，结果水肿，于是落下了后来对吃粥的忌讳。

　　1941年，到泉州加入战地服务团做美工，从事画布景、写海报等工作。《闽中日报》刊登了他的第一首诗和木刻《三八那天》。1942年，到赣州人教育部的戏剧教育二队当见习队员，在深钻木刻的同时学做雕塑。

　　日本投降后，他到《凯报》做美术编辑。1946年，经在广州中山大学教书的老木刻家刘仑的介绍，去香港谋职。1947年，在上海郊区的一所中学教音乐和美术课。1948年春，因参加制作画册的工作，在台北留连了几个月，后去香港，在《大公报》和《新晚报》当美术编辑和专栏作者。由于生计所迫，他既发狠做木刻，又拼命写文章，完成了一部电影剧本。

　　1953年2月，听从表叔沈从文的劝告，与妻子张梅清抱着7个月的男孩黑蛮，从香港回到北京，在中央美术学院任教。“文化大革命”中被下放到湖北省磁县的干校农场劳动3年。

　　尽管是幼年出门，长期漂泊，却一直深深地眷恋着自己的故乡。1950年，他第一次回到故乡凤凰，去了总兵营苗寨。回香港后写了一篇题为《火里凤凰》的连载文章，介绍了家乡的巨变。1959年，他第二次回到凤凰，仍去总兵营苗寨采风，用画笔记录了苗族的风土人情。1974年，他尚未从“左”的枷锁中里解脱出来，又只身再次回到凤凰，看望经风雨摧残的家人，并鼓励一班有志于美术的青年奋发向上。

　　自1979年至1988年，他差不多每年都要带内宾或外宾去凤凰，向外界极力推介凤凰，推介湘西，最具轰动效应的是推介了张家界，推介了湘泉酒和酒鬼酒。

　　自1982年起，他先后访问过澳大利亚、美国、法国、德国、日本、意大利等国家，促进了中国与各国的文化交流。鉴于他的贡献，意大利政府授予他三等司令勋章。在加强海外联谊、改善两岸关系方面，他也发挥过重要作用。他是多才多艺的文化人，不仅精于木刻、绘画和雕塑，而且擅长写作。已出版的文学作品集有《永玉六记》、《吴世茫论坛》、《太阳下的风景》、《老婆呀，不要哭》、《这些忧郁的碎屑》、《沿着塞纳河到翡冷翠》。正在创作的长篇巨著是《莫愁河上的浪荡汉子》。

　　70年代中期以后，曾任中央美术学院教授、全国政协委员、全国美协副主席。

　　他在一篇文章里写道：“如果说我一生有什么收获和心得的话，那么，一，碰到许许多多的好人；二，在颠沛的生活中一直靠书本支持信念。”1999年5月，荣宝斋、中国美协、中国美术馆举办他的画展时，他请了一位在动乱年代有交情的花匠为画展开幕剪彩。他的这个不凡举动，就是上述心得的注释。2000年9月他首次回故乡湖南开办了一个画展，佳评如潮。

　　“热爱生活，拥抱事业”。这是他一生的座右铭。