鹿児島城下・肝付（きもつき）家の三男として生まれた小松帯刀（本名・清廉（きよかど））は、21歳のころ吉利（よしとし）領主の小松家の婿養子となった。若いころから頭脳明晰で面倒見がよく人望が厚かったという。ただ勉学に励みすぎたためか病弱で、のちに坂本龍馬の霧島旅行（寺田屋で負傷した後の療養）をあっせんしたさい、自らも栄之尾（えのお）温泉に湯治に出向いている（このとき龍馬も小松を見舞いに栄之尾温泉に足を運んだ（→硫黄谷温泉））。

文久元年（1861年）、島津久光に認められて側近となり、大久保利通らとともに藩政を担うことになる。翌文久2年に久光が上洛したさいに随行し、帰国後家老職についた。

薩摩藩が公武合体運動を推進するため中央の政局に関わるようになると、小松は京都に滞在して朝廷、幕府、雄藩との折衝を担当するようになる。このころ坂本龍馬とも知り合い、亀山社中の設立を後援し、また龍馬とお龍の結婚の世話を買って出るなど、公私にわたって龍馬を支え続け、薩長同盟締結交渉には惜しみない努力を払っている。

大政奉還、王政復古のクーデター、そして鳥羽伏見の戦いへと続く薩摩藩の倒幕行動にさいしては、西郷、大久保らと歩調を合わせて新たな時局を拓いていった。

明治維新後、政府の要職を歴任したが、病気のため明治3年（1870年）に大阪で死去。その前年に行われた版籍奉還では実施にさいして大きな困難が予想されたが、小松が率先して自領を返還して島津久光を説得し、薩摩藩さらには諸藩全体の版籍奉還を完了させる流れをつくった。