12 января 2006, Диаби подписал контакт с «Арсеналом», сумма трансфера составила приблизительно £ 2 млн. Прежде чем присоединиться к «Арсеналу», он, по сообщениям СМИ, мог перейти в стан конкурента Арсенала — лондонский «Челси». Перейдя в «Арсенал», он взял футболку со 2-ым номером, который был свободен после того, как завершил карьеру Ли Диксон. О Диаби говорили как о том, кто мог бы заменить бывшего игрока «канониров» Виейра, т.к. внешне он напоминал Патрика.

Диаби дебютировал за «Арсенал» 21 января 2006, выйдя на замену против «Эвертона» в матче, проигранном «канонирами» со счётом 1:0.

1 апреля 2006 Диаби забил свой первый гол за «Арсенал», в матче против «Астон Виллы» (матч закончился со счётом 5:0). Месяц спустя, 1 мая 2006, Абу Диаби перенес серьёзную травму — перелом лодыжки со смещением — вызванную подкатом футболиста Сандерленда Дэном Смитом. В результате травмы Диаби пропустил восемь месяцев и возвратился к футболу только 9 января 2007, выйдя на замену в четвертьфинале кубка Лиги.

В сезоне 2007/08 Диаби часто выходил на левом фланге полузащиты. Это должно было помочь ему развить левую ногу, видение поля, скорость принятия решений. К тому же в этом сезоне у «Арсенала» в связи с травмами образовался дефицит игроков, способных сыграть слева в полузащите.

12 декабря 2007 года Диаби забил гол в ворота бухарестского "Стяуа". Этот гол стал первым для него в Лиге Чемпионов. Свой второй гол Диаби забил в четвертьфинале Лиги Чемпионов, на этот раз в ворота «Ливерпуля». Позже он получил траму, из-за которой концовка сезона вышла для него скомканной.

Перед сезоном 2008/09 именно Диаби пророчили занять место ушедшего в «Милан» Фламини. Неожиданно для многих, Венгер не стал покупать игрока на замену Фламини, предоставив шанс молодым игрокам доказать свою состоятельность. Хотя сам Диаби, когда его сравнивали с Виейра, называл себя более склонным к атаке игроком.

Травмы внесли свои коррективы в планы Диаби пробиться в основу команды. К тому же ему не хватало умения читать игру, необходимого для игры в центре поля. Диаби играл на разных позициях, в том числе и под нападающим. В поединке с «Фенербахче» в рамках Лиги Чемпионов Диаби забил, а канониры выиграли со счетом 5:2. Вассирики удостоился звания «игрок матча». В целом в этом сезоне он показывал нестабильную игру, отдельные удачные игры сменялись чередой блеклых, где он часто передерживал мяч, пытаясь в одиночку обыграть нескольких игроков противника.

Позже Диаби сменил мнение на счет своей позиции. Он сказал, что позиция в глубине поля, где он контролирует ход матча, срывая атаки противника и начиная атаки собственной команды, ему нравится. Диаби также сказал, что сравнения с Виейра — честь для него. По окончанию сезона стало известно, что Диаби предпочел не отправиться в отпуск, а провести тренировки с известным во Франции специалистом по физподготовке, сконцентрировавшись на улучшении своих физических показателей. Основным мотивом этих тренировок было желание Диаби стать лучше в силовых противоборствах, обилием которых характеризуется английский чемпионат.

Свой первый матч в сезоне 2009/10 Диаби провел в квалификации Лиги Чемпионов, выйдя на замену вместо Андрея Аршавина и приняв участие в атаке, которая привела к второму голу в ворота шотландцев.