黑胡椒，在某些语境下可简称作“胡椒”。中文中的“胡椒”由“胡”字与“椒”字组合而来。“胡”原意指称北方和西方的游牧民族，后引申表述为来自不同文化背景的东西。如：“胡萝卜”、“胡床”。“椒”则指某些种子或果实有刺激性味道的食物。
胡椒的英语单词“pepper”衍生自拉丁语中“piper”一词，罗马人用“piper”这个词来表述胡椒与荜拔，因为他们错误地认为这两种不同的香料取自同样的植物。“piper”则来自梵语中的“pippali”，其意为荜拨。现代英语中的“pepper”发展自古英语中的“pipor”。拉丁语的“piper”亦是德语“pfeffer”、法语“poivre”、荷兰语“peper”及其他相似形式的起源。在16世纪，“pepper”的词义又进一步包括了在新大陆发现的辣椒。至少在1840年代时，“pepper”已发展出了“勇气”与“活力”的比喻义；在20世纪早期，还曾被缩写成“pep”的形式。
