Черная крепость, по-армянски Сев Берд, была построена в 1834 году, вскоре после окончания Второй русско-персидской войны. Согласно историческим источникам, идея ее строительства возникла на фоне растущих опасений по поводу возможного конфликта с Османской империей.
Поскольку Гюмри находится недалеко от границы с Турцией, российское военное руководство сочло необходимым укрепить этот стратегически важный регион. Ещё в 1828 году военный губернатор Тифлиса писал главнокомандующему российскими войсками на Кавказе генералу Ивану Дибичу: «В случае возможной войны с турками необходимо построить крепость в Гюмри и надежно ее укрепить как важный военный опорный пункт.»

Первоначально крепость была спроектирована как оборонительный комплекс для Александрополя (прежнее название Гюмри). В разное время она также использовалась как военная тюрьма. Уникальная круговая форма и строительство из местного темного вулканического туфа дали крепости ее название — Сев Берд, что означает «Черная крепость».
После русско-турецкой войны 1877–1878 годов крепость стала использоваться как военный арсенал для хранения оружия и боеприпасов. Позднее к ней добавили дополнительные оборонительные сооружения, усилив ее стратегическое значение.
Сегодня крепость утратила свое военное назначение, однако продолжает оставаться одной из самых знаковых достопримечательностей Гюмри. В последние годы ее стены стали местом проведения художественных выставок, музыкальных концертов и современных инсталляций.