生于上海，1991年调任江苏省文联党组成员、副主席，1995年退休。主要从事儿童年音乐创作。1955年开始从事儿童音乐创作。当过小学音乐教师，少先队辅导员，编辑等。曾任音协宁夏分会主席、宁夏文联副主席、中国音协第四届常务理事。

1951年参加中国人民解放军。1956年加入中国共产党。历任上海人民广播电台、宁夏人民广播电台音乐编辑，宁夏电视台导演、文联副主席，中国音协第四届常务理事、宁夏分会主席。1960年获全国先进儿童工作者称号。1983年获全国先进儿童少年工作者称号。作品有儿童歌曲《一分钱》、《好妈妈》、《红太阳照山河》、《两颗星星》等。

一首好的儿童歌曲应该运用的是儿童语言，不能做作，不是儿童的语言，孩子们不要唱，不是用儿童的音乐语言创作的歌曲，装的孩子腔，孩子们也不愿意学。孩子需要的是那些出自于内心喜悦的音调。如果过分强调“寓教于乐”，导致有些作品“教”多而“乐”少，缺乏童趣和童心，用成人思维代替儿童思维，孩子们胜任不了。创作完一首儿童歌曲就应该让孩子们去唱、去改，去听取意见。所以孩子们需要的不是那些工整的语言，他们要的是属于自己的语言，不是儿童的语言，孩子是不会接受的。创作者应该走到孩子们中间去，多听听孩子们的心声，多创作些富有时代感、节奏感、地域性的儿歌。只有这样才能赢得孩子们的喜欢。

这片朴实的土地给了他无数创作灵感，《一分钱》、《春天在哪里》、《小鸭子》这些被几代中国儿童传唱的儿歌，就是他在宁夏时创作的，还写出诸如《六盘山高黄河宽》、《我的家乡宁夏川》、《色俩目-穆斯林》、《回族儿童爱唱歌》等描写宁夏风土人情的歌曲，为吴忠回族民歌《船工号子》、海原回族信天游《上河里鸭子下河里鹅》编过曲。
1991年，出于种种原因，潘振声离开了宁夏。之后的17年，他仍用自己的音乐表达着对宁夏的深情。潘振声说：“无论是以前，还是今后，只要宁夏人邀歌，我来者不拒。一来我爱这里，写宁夏的歌我信手拈来；二来宁夏人给我的太多，这是我应该做的。” 潘振声曾经为宁夏电视台的《绿窗花》谱曲，把生活在沙漠上的孩子们盼望绿色的心情准确、生动地表达了出来，获得当年全国少年儿童mtv大赛的金奖。2007年，他创作的《贺兰贺兰》、《大漠蛙声》两首歌曲，都是歌颂宁夏的华彩乐章。奥运前夕，《我爱福娃》和《你好，色俩目》成为他送给宁夏孩子的最好礼物。潘振声说，今后他还要写年轻人也喜欢的宁夏歌曲。

到2008年，潘振生76岁高龄时，依然5点就起床了，然后就开始哆来咪、咪来哆。他退而不休，在家里搞了个工作室，有一套录音设备。从作词作曲，到制作音带、光盘可以一站式完成，是个家庭作坊。他每个月要创作十几首歌，朋友的邀约应接不暇。写的歌种类很多，有儿歌、校歌、广告歌等。潘振声的身体非常好，他的养生之道是“气死活该”，人不要生气，要不然气病了，气死了，都是自己的事。他的心宽，所以很健康。他看报纸时，都不用戴眼镜，偶尔还会打电脑游戏，他喜欢不激烈的游戏。