聂耳的父亲聂鸿仪在昆明甬道街72号开了一家成春堂药店。1912年2月15日，聂耳出生在药店的楼上，原名紫艺。不久，父亲死了，药店由母亲经营，殷实的聂家开始中落。在幼年聂耳的记忆里，母亲经常坐在灯下，拨拉算盘，算完账后，叹气，发愁。聂耳曾暗许心愿：今后一定要“让母亲过好日子”。他到上海后，在写给母亲的信中，屡屡提到“汇钱”之类的字眼。
母亲是聂耳最大的牵挂。从照片中看，母亲彭寂宽是比较典型的傣族妇女的长相。令人佩服的是，彭氏没有上过一天学堂，但跟着丈夫，居然能够读医书，丈夫死后还能坐堂把脉问诊，养家活口。彭氏的聪慧，显然也遗传给了儿子。聂耳是家里最小的儿子，乖巧伶俐，一支简陋的竹笛能吹得五彩缤纷，甚得亲友疼爱。
母亲能唱各种民歌，包括在昆明等地民间广泛流传的洞经调、花灯调、洋琴调，等等。动听的歌曲与歌曲里的故事让小聂耳着迷。蔡锷功成名就之时，聂耳还是黄口小儿，但他从母亲的歌里认识了蔡锷。蔡将军云南首义讨袁护国的壮举在他心中留下了深深的印象，习武从军曾是少年聂耳的一大志向。十六岁那年，聂耳终于憋不住了，背着家人偷偷参军，被编入十六军湖南新兵队受训，后投考黄埔军校不果，又被军队遣散，习武之念才在无奈之中打消。不得已，转而读书、演戏、作曲，但成就伟业之心未了。
在一篇《我之人生观》的中学作文中，聂耳表示，如果有可能，他不会从事宗教、哲学和科学的行当。他的理想是先上大学，然后出外游历，最好是出国，行路读书，增长见识，学术上有所建树。最后挣几个钱，与几个谈得来的朋友，找一处山清水秀的地方，读书，弹琴，度悠闲时光。他还特意表示，昆明的西山将是自己隐逸的首选。
待到年长几岁也就是中学毕业考入云南省立师范学校后，聂耳又写了篇《我之人生观》，他的学生腔明显少了，代之而起的是，希望学工科，研究点艺术，做一个“并不是鲁滨逊那种个人主义的思想”的游历家，然后“以实在考察之所得以建设新的社会”。
