كلمة الصوفية مأخوذة من كلمة (سوفيا) ومعناها في اللغتين اليونانية والهندية القديمة (الحكمة)، ومنها اشتقت كلمة (فيلاسوفيا) (فيلسوف) ومعناها (محب الحكمة)، كما أن كلمة (ثير صوفية) معناها الحكمة المتعلقة بالإله، وهي مذهب معروف قديماً وحديثاً.
والهندوس يطلقون كلمة الصوفية على رهبان البراهمة، وحكمائهم الروحانيين الذين يهيمون في الغابات عراة، باحثين عن الحكمة والمعرفة -بزعمهم- والغاية عندهم الاتحاد بالله والفناء في ذاته، تعالى الله عما يصفون. .
وفي الإسلام لم يسمع هذا المصطلح -أي: مصطلح الصوفية - إلا في نهاية القرن الثاني للهجرة، وكان يطلق حينئذٍ على أفراد شاذين اعتزلوا الناس منقطعين في رهبانية مخالفة لمنهج النبي صلى الله عليه وسلم وأصحابه في التعبد.
وكان علماء الجرح والتعديل والمؤلفون الأوائل في الفرق يطلقون عليهم وصف (الزنادقة) وكان بعضهم لا صلة له بالإسلام أصلاً، وإنما هم رهبان غامضون يسيحون في الأرض ويعيشون في المغارات والأودية المقفرة.
وانتشرت الصوفية في القرنين الثالث والرابع، ولكن زعماءها ظلوا متهمين بالزندقة، وجرت محاكمتهم على ذلك مراراً، وكان ممن حوكم الجنيد، والنوري، وذو النون المصري، ومنهم من قتل كـالحلاج .
وفي القرن الخامس ظهر أبو حامد الغزالي (المتوفى سنة 505) فكان له أكبر الأثر في نشر الصوفية في العالم الإسلامي وإلباسها بلباس الإسلام.
والغزالي فقيه ومتكلم ذو سمعة وشهرة، وقد خلط في مؤلفاته بين هذه العلوم وبين ما نقل عن الصوفية قبله كـالمحاسبي، وأبي طالب المكي، وأضاف إليها من آرائه وفلسفته، فانتشر التصوف وقبله الناس.