1959年,马水龙考取国立艺专音乐科理论作曲组,副修大提琴和钢琴。除了随卢炎学习和声及对位法,并向刚从法国回来的许常惠学音乐史与当代欧洲音乐新潮流。採集民间歌谣的许常惠经常提醒他不能忘本的精神,主修老师萧而化也奠定了他日后的西方作曲技巧,这些都是促成马水龙往后音乐风格的重要关键。1964年以第一名成绩毕业,任教于基隆市立第四初级中学。1968年,与陈懋良、游昌发、赖德和、沈锦堂、温隆信五位作曲家共同发起「向日葵乐会」,每年举办作品发表会,探索各种创作的可能,其中最着名的曲目为《台湾组曲》与《雨港素描》(此曲乃是献给钢琴家妻子许子珍的结婚礼物。),可惜「向日葵乐会」于1971年因政治风波而停止。1972年,马水龙获得西德全额奖金,进入雷根斯堡音乐学院(College of Catholic Church Music and Musical Education in Regensburg)就读,随席格蒙(Dr. O. Sigmand)学习作曲,并以最优异的成绩毕业,且代表学校在雷根斯堡音乐节、柏林电台、慕尼黑电台公开发表作品。