药物作用的特异性主要由以下几个方面决定：

首先，药物分子结构是决定其作用特异性的关键因素。每种药物都有独特的化学结构，这种结构决定了它能否与特定的生物大分子（如受体、酶等）相结合，并产生相应的药理效应。就像钥匙和锁的关系一样，只有当药物分子的形状和电荷分布等特性与靶点相匹配时，才能有效地结合并发挥其作用。

其次，靶点的选择性也是影响药物特异性的另一个重要因素。在人体中存在多种不同的受体、酶和其他蛋白质，它们各自负责特定的生理功能。理想情况下，药物应该只与其预期的目标相结合而不干扰其他分子的功能，这样可以减少副作用的发生率。然而，在实际应用过程中，由于某些靶点之间可能存在结构上的相似性，导致部分药物可能会对其非目标部位产生影响。

此外，药物的作用方式也会影响其特异性。例如，有些药物通过直接激活或抑制特定受体来实现治疗效果；而另一些则可能需要经过代谢转化才能成为活性形式，进而与靶标相互作用。这些不同的机制都会对最终的药效产生重要影响。

最后，个体差异也不能忽视。不同的人对于同一种药物可能会有不同的反应，这可能是由于遗传背景、年龄、性别等因素造成的。因此，在临床应用时还需要综合考虑患者的实际情况来选择最合适的治疗方案。

综上所述，药物作用的特异性是由其分子结构、靶点的选择性、作用方式以及个体差异等多个因素共同决定的。