Клуб стартовал во Втором дивизионе и в 1904 году пробился в Первый дивизион. Однако географическая удалённость клуба стала причиной низкой посещаемости матчей, что привело к финансовым проблемам. В 1913 году (вскоре после возвращения во Второй дивизион) клуб пересёк Темзу, чтобы занять новую арену — стадион «Хайбери», расположенный на севере Лондона. («Хайбери» был домашней ареной «Арсенала» вплоть до августа 2006 года, когда клубом был достроен новый 60-тысячный стадион «Эмирейтс».) Команда отбросила часть «Вулвич» из названия в следующем же 1914 году. Сезон 1919 года Арсенал закончил на 5 месте, но, тем не менее, был переведён в Первый дивизион в связи с финансовыми проблемами «Тоттенхэма».

В 1925 году на пост главного тренера Арсенала был назначен Герберт Чепмен. Под руководством Чепмена в 1924 году команда «Хаддерсфилд Таун» заняла первое место в лиге. Этот человек принёс Арсеналу первые минуты успеха. Его революционные тактика и способы тренировки, в сочетании со звёздными игроками, такими, как Алекс Джеймс и Клифф Бастин, помогли клубу стать доминирующим в 30-х годах. Между 1930 и 1938 годами Арсенал выиграл 5 раз в Первом дивизионе и дважды становился обладателем Кубка Англии, хотя Чепмен так и не увидел всех этих достижений, так как в 1934 году умер от пневмонии.

В июле 2008 года на официальном сайте клуба было проведено голосование среди болельщиков, по результатам которого нападающий Тьерри Анри был признан лучшим игроком за всю историю клуба.