《诗经·秦风·小戎》有言：“言念君子，温其如玉”，这是一位女子在思念自己从军打仗的丈夫。在诗中，这位女子把自己的丈夫比喻成温润的玉，是在说自己的丈夫为人淳厚、性情温和。在后世的演变中，“温润如玉”就成了衡量男子是否能称为君子的标准。
先人用玉来比喻君子，与我们尊崇的儒家审美倾向息息相关。
儒家肇端于春秋战国时期，其时诸侯侵伐，社会混乱。孔子有感于此，追述西周初期周公制定的礼仪，提倡出一套克己复礼的行为规范。上至天子诸侯，下至平民百姓，如果每个人都收敛自己的情绪，克制自己的欲望，那么社会就又重新回到和谐有序的状态当中。“收敛、克制”就是儒家审美倾向的出发点。性情温和，举止优雅，心地淳厚，这些都符合“收敛、克制”的标准，于是人们就称这类人为君子。
玉的特征是温润，没有夺目的色彩和耀眼的光芒，这与儒家强调的“收敛、克制”是相符的，于是自然而然，人们就把君子的品行和玉的特质联系在一起，产生了君子如玉这种比喻。
在历代儒家作品中，有很多都对君子和玉的关系作出过详细阐释。如《礼记·聘义》记载：“夫昔者，君子比德于玉焉。温润而泽，仁也；缜密以栗，知也；廉而不刿，义也；垂之如队，礼也；叩之其声清越以长，其终诎然，乐也；瑕不掩瑜，瑜不掩瑕，忠也；孚尹旁达，信也；气如白虹，天也；精神见于山川，地也；圭璋特达，德也；天下莫不贵者，道也。”《礼记》把君子和玉的特质各自分为十一类，并逐一进行类比，可见在古人心中君子和玉的相似性有多大了。
许慎在《说文》中把玉和君子相同的特质分为五类：“玉，石之美者有五德。润泽以温，仁之方也；勰理自外，可以知中，义之方也；其声舒扬，专以远闻，智之方也；不挠而折，勇之方也；锐廉而不忮，洁之方也。”我们可以看到，在许慎这里，玉的特质已经和儒家倡导的“仁、义、智、勇、洁”等核心道德规范联系起来了。
后世君子皆以玉反观自身，看自己是否符合儒家道德规范，于是，佩玉成为了君子仪容的重要内容之一。君子佩玉，是为了观玉以省察自身，举手投足之间玉相互撞击的声音也能时刻提醒自己，所言所行是否符合“温润如玉”的标准。