Kemoceng mempunyai sejarah yang panjang. Pada awal Dinasti Xia 4000 tahun yang lalu, Kaisar Shao Kang (yang kemudian menjadi Kaisar Shao Kang) mengamati seekor burung pegar yang terluka menyeret tubuhnya ke depan, meninggalkan jejak bersih di belakangnya. Ia kemudian menggunakan bulu burung pegar untuk membuat kemoceng pertama, asal muasal kemoceng. Karena bulu burung pegar terlalu lembut dan tidak tahan lama, Shao Kang kemudian menggunakan potongan bambu, apsintus, dan batang sorgum sebagai bahan baku untuk membuat sapu yang lebih tahan lama.
Di Eropa, Asia, dan sebagian besar dunia, sapu yang terbuat dari batang sorgum banyak digunakan. Presiden AS Franklin mempromosikan budidaya sorgum untuk mengembangkan pertanian, yang menyebabkan penerapannya secara luas di seluruh Amerika Serikat. Sapu sorgum juga digunakan di AS, dan industri pembuatan sapu sorgum pun bermunculan. Bahkan sampai saat ini, sapu masih digunakan.
Sebelum tahun 1970-an, kemoceng merupakan alat pembersih yang umum digunakan di sebagian besar rumah tangga. Seiring dengan perubahan zaman dan peningkatan peralatan, kemoceng tradisional perlahan-lahan memudar dari penggunaan sehari-hari. Sementara itu, teknik pembuatan kemoceng,-sebagai kerajinan tradisional, telah terdaftar sebagai warisan budaya takbenda dan dilindungi di beberapa daerah.
