伯牙的老师是春秋时期著名的琴师成连。

《乐府解题》里曾经记载过伯牙学琴的故事：伯牙学琴于成连先生，三年不成，至于精神寂寞，情之专一，尚未能也。成连云：“吾师方子春今在东海中，能移人情。”

伯牙跟随成连老师学习弹琴三年，但学了弹琴的技法，却没有弹琴的神韵。成连老师希望伯牙可以有大成，不希望伯牙只做一个乐师。成连先生就对伯牙说：“我的老师方子春在蓬莱，我们去拜访他，请教一下让你进步的方法，”

于是：“乃与伯牙俱往。至蓬莱山，留宿伯牙曰：“子居习之，吾将迎师。”划船而去，旬日不返。伯牙近望无人，但闻海水洞滑崩澌之声，山林寂寞，群鸟悲号，怆然而叹曰：“先生将移我情！”乃援琴而歌。曲终，成连回，划船迎之而返。伯牙遂为天下妙矣。”

师徒二人到了蓬莱之后，成连先生对伯牙说“你在这里等着，我去寻师傅。”然后就一去不返了。

伯牙在等待师傅的时候，听到波水涛涛，山林寂静，但群鸟悲号，发现大自然竟然有如此神奇的声音，不禁激发了他的创作灵感，就谱写了一曲《水仙操》。

最后成连老师回来的时候，伯牙已经找到了自己音乐里的神韵，可以说是成连老师的教育方法成就了伯牙。