胡椒的辛辣味主要来源于化合物胡椒碱，胡椒碱同时存在于果皮和种子中。按毫克来计算，精制胡椒碱的辣度大约是辣椒中辣椒素的百分之一。胡椒的外果皮中还含有可产生气味的蒎烯、桧烯、苯烯、石竹烯与芳樟醇等萜类，这些还是让柠檬、树木和花朵等产生气味的物质。白胡椒几乎失去了这些气味，因为白胡椒去掉了果皮层。由于要经历更长的发酵阶段，白胡椒会获得其他的一些气味（包括霉味）。
胡椒的气味会随化学物质挥发而流失，因此密封保存有助于长期保藏胡椒的香馥。在光线的照射下也会让胡椒失去一些香味，因为胡椒碱会被转变为几乎无味的异胡椒脂碱。在研磨成粉后，胡椒的芳香会更迅速地挥发；因此大部分的烹调书都建议不要在使用前研磨胡椒子。手持胡椒研磨器可以机械地将胡椒子研磨或压碎并制成胡椒粉，同时也有市售的胡椒粉。在14世纪时的欧洲厨房中便已有胡椒研磨器这类香料研磨器的存在，不过更早前使用臼杵来研磨胡椒也是一个常见的方法。
