沉香除了蜜香、乳香、清凉等令人喜爱的味道之外，有些沉香还会带有酸味、腥臭等味道。只有足够优质的沉香，其香韵才会显得醇厚。沉香的香味并非单一的某种香味，而是独一无二而又极具变化的悠远绵长。沉香的这一特性，与其生长环境和形成有着极大的关系。
不同的地理环境使沉香树在受伤之后愈伤组织在进行伤口愈合的条件也不同，最终形成的沉香香味也有差异。比如，西马沉香外观偏黄，香味较清甜；而东马所产色泽外黄内黑，香味较浓郁。不同的树种之间，结出的香味也会有所区别。比如，惠安系的蜜香树种，由于树脂甜度较高，所以结出的沉香有较好的甜韵，但也会因此常招来虫子，所以惠安系沉香虫漏较多。
而星洲系沉香的鹰木树种，树脂甜度低，因此结出的沉香味道很少有甜韵，而是凉意较突出，但从凉意上来说，还是能胜过惠安系沉香的。同时星洲系沉香因树种的关系，会带有药香和一些躁气。但树种对沉香味道的影响也较笼统，惠安系沉香中也有凉意深重的柬埔寨沉香，星洲系沉香中也有甜韵迷人的文莱沉香。因此要说影响沉香味道的具体因素，还是产地和水土，不同水土环境，在一定程度上决定了沉香品质的高低。沉香的味道变化，离不开其结香方式。比如，生结沉香的味道比较张扬，生闻明显，但一些生结沉香在熏闻的时候会散发出酸涩味；熟结和脱落的沉香味道更为内敛，常温下味道清淡，只有熏染时才会爆发香味；而虫漏沉香因结香时受到虫蚁啃噬，含有生物的分泌液，因此香味偏甜。成年的沉香树才有可能结香，而受伤后结香又需要十年左右，上等沉香的结香时间甚至需要百十年。所以，通常来说，沉香的结香时间越长，沉香的醇化程度越高，品质越高。有些沉香由于本身原因，或生香年头太短、香料含水量过多，会产生生凉味，它的凉气较浓，初闻便非常明显，闻之不会有醒神之效，反会有发晕之感。生凉味往往伴随着涩味。总而言之，沉香树生长的海拔高度、土壤湿度、日照时间、菌种等因素都会影响到最终形成沉香的品质。沉香树适宜生长在温暖、水分充足、土壤酸性的环境中。不同气候环境的影响下，会形成不同的菌种，而沉香树因为受到不同菌种的传染之后，也会结成不同品质的沉香。 
