此歌作于1937年7月，同年9月初刊于作者与孟波合编的《大众歌声》第二集。“七七”芦沟桥事变吹响了全面抗战的号角，面对着用飞机、大炮武装起来的日本侵略者，英勇的中国军队被迫组成大刀队奋起反抗，浴血苦战。消息传来，上海的学生走上街头募捐筹款，为前方将士赶制大刀……这一切深深地激动着革命音乐家麦新的心，他怀着对侵略者的满腔仇恨，写出了这首《大刀进行曲》，并在原稿标题下题上了“献给大乃队”。歌曲的开头，原来是一拍一音，但群众唱起来却成了切分音。麦新立即表示：“还是群众唱得对，一开始用切分音符更能表现对敌人的无比仇恨。”确实，歌曲一开始便具有火山爆发般的强大力量，唱起来象大刀一样锋利，象冲锋号一样响亮。全曲采用首尾呼应的自由体乐段结构，还出现“冲啊”的喊声。在以更高昂的音调和豪壮的气势再现“大刀向鬼子们的头上砍去！”之后，发出炸雷般的“杀”声，更使歌曲具有强烈的战斗气氛。这首歌曲曾经鼓舞千千万万抗日英雄去冲锋陷阵，是抗日救亡歌曲的代表作之一。
