最终“钻石安妮”被一名帮众拖垮了。这名帮众爱上了一个圈外人，触犯了帮规。玛利亚·布里顿家境优越，她爱上了一个名叫杰克逊的小伙子。玛利亚自知不为帮规所容，于是带着父亲找戴蒙德求情。谁知戴蒙德大发雷霆对玛利亚动起手来，玛吉也手持剃刀追击玛利亚的父亲。最后两人侥幸逃脱。第二天，玛利亚就与杰克逊结婚了。
几天后，戴蒙德和希尔带着一队大象帮众包围了布里顿的居所。她们向窗户内投掷石块和瓶子，随后还进入屋内，誓要惩戒不守帮规的布里顿及其家人。众人在卧室找到了布里顿太太和她的新生婴儿，将他们拖下床，并把床掀翻搜寻布里顿先生。最终她们在地下室的阶梯上逮住了布里顿先生和他的儿子，并袭击了二人。警察随后赶来，逮捕了一些来不及逃走的暴徒。布里顿先生和儿子被送进医院，布里顿先生的伤口缝了二十针。最终警察逮捕了所有涉案人员。
另一个版本的说法略有不同，不过更为可信：1925年，玛利亚·杰克逊（也就是之前的玛利亚·布里顿）在伦敦南滑铁卢的坎特伯雷·阿姆斯酒吧举行的一个狂野派对上，用砸碎的红酒瓶袭击了另一名帮众贝莎·特彭顿。玛利亚·布里顿当时已经结婚，也显然不是另一个版本中的天真小甜心。正在醉醺醺的二人撕扯之际，玛利亚的父亲比尔·布里顿为了保护女儿，狠狠给了特彭顿一拳，从而引发了更激烈的冲突。布里顿走后，爱丽丝·戴蒙德和众人决定实施报复。戴蒙德敲开布里顿的大门，不想却被迎面浇了一桶凉水，于是布里顿家遭到了袭击。
当局对她们进行了一次审判，考虑到戴蒙德和希尔有可能会透露之前色诱勒索社会要员的事情，审判规定只讨论此次袭击他人住所的事件，不扩大调查范围。
“钻石安妮”和“娃娃脸玛吉”都因袭击他人住所被判多年有期徒刑，送进监狱进行劳动改造。随着四十大象首脑的入狱，帮派的运途开始衰落。直到二十世纪50年代，帮派也曾有过若干次行动，但毕竟再也无法重现“钻石安妮”和“娃娃脸玛吉·希尔”掌管下的盛况。爱丽丝捱过了牢狱生涯，出狱后隐姓埋名过完了后半辈子，于二十世纪50年代去世。
玛吉·希尔的下场要悲惨一些。1938年她涉嫌使用帽针刺向一名警察的眼睛，因而被捕入狱。出狱后她只能靠给妓女当佣人和做警方线人（举报那些对妓女施暴的皮条客）勉强度日，最终在七十年代自杀身亡。彼时四十大象帮早已湮于历史。
