Разрабатывал техническую документацию GSM Европейский институт стандартов по телекоммуникациям (ETSI), а в создании схемы безопасности, в целом призванной защитить новую систему от перехвата, прослушивания и мошенничества, активное участие приняли спецслужбы стран НАТО.
Основу системы безопасности GSM составляют три секретных алгоритма (официально не раскрытые и поныне, сообщаемые лишь тем, кому это требуется по необходимости - поставщикам оборудования, операторам связи и т.д.): 
А3 - алгоритм аутентификации, защищающий телефон от клонирования; 
А8 - алгоритм генерации криптоключа, по сути дела однонаправленная функция, которая берет фрагмент выхода от A3 и превращает его в сеансовый ключ для A5; 

A5 - собственно алгоритм шифрования оцифрованной речи для обеспечения конфиденциальности переговоров. В GSM используются две основные разновидности алгоритма: A5/1 - "сильная" версия шифра для избранных стран и A5/2 - ослабленная для всех остальных (для России). 
Мобильные станции (телефоны) снабжены смарт-картой, содержащей A3 и A8, а в самом телефоне имеется ASIC-чип с алгоритмом A5. Базовые станции также снабжены ASIC-чипом с A5 и "центром аутентификации", использующим алгоритмы A3-A8 для идентификации мобильного абонента и генерации сеансового ключа. 

Вся эта архитектура при надлежащем исполнении и качественных алгоритмах призвана гарантировать надежную аутентификацию пользователя, обеспечивая защиту мобильных станций от клонирования и прочих методов мошенничества, а также качественное шифрование конфиденциальных переговоров. Собственно говоря, именно это и декларируется компаниями, успешно занимающимися разворачиванием GSM по всему миру и уже охватившими услугами удобной связи, по разным подсчетам, от 210 до 250 миллионов человек на планете. 

Но реальность такова, что спецслужбы, занятые защитой правительственных коммуникаций, одновременно вовлечены и в деятельность противоположного рода: перехват и дешифрование коммуникаций в разведывательных целях. По этой причине, как свидетельствуют очевидцы, вокруг степени защиты GSM бушевали немалые страсти, поскольку спецслужбы стран НАТО имели довольно разные точки зрения на этот счет. Германия настаивала на сильных алгоритмах, поскольку имела самую длинную границу с коммунистическим блоком, другие же страны склонялись к ослабленному варианту. В конце концов в качестве основы криптосхемы для A5 была избрана французская разработка.

Описание алгоритмов шифрования GSM и взлом
A5 реализует поточный шифр на основе трех линейных регистров сдвига с неравномерным движением. Такого рода схемы на языке специалистов именуются "криптографией военного уровня" и при верном выборе параметров способны обеспечивать очень высокую стойкость шифра. Однако, в А5 длины регистров выбраны очень короткими - 19, 22 и 23 бита, что в сумме и дает 64-битный сеансовый ключ шифрования в GSM. Уже одни эти укороченные длины регистров дают теоретическую возможность для хорошо известной лобовой атаки, когда перебирают заполнение двух первых регистров (сложность порядка 240 ), восстанавливая содержимое третьего регистра по выходной шифрующей последовательности (с общей сложностью порядка 245). 

До анализа A5 дошли руки у сербского криптографа д-ра Йована Голича специалиста по поточным шифрам . С чисто теоретических позиций он описал атаку, позволяющую вскрывать начальные заполнения регистров всего по 64 битам шифропоследовательности с трудозатратами около 240. Проведенный в стенах Microsoft эксперимент действительно привел к вскрытию ключа, но понадобилось для этого около двух недель работы 32-узлового кластера машин PII-300. (Все-то у них не как у людей или они были заинтересованы в плохой реализации алгоритма ? Сейчас достаточно пары секунд). 
В апреле 1998 г. группа компьютерных экспертов из Калифорнии широко объявила и продемонстрировала, что ей удалось клонировать мобильный телефон стандарта GSM. Ранее всеми по умолчанию предполагалось, что цифровые сети GSM гораздо надежнее защищены от этой напасти, приносящей миллионные убытки сетям аналоговой сотовой телефонии. Возглавлял группу Марк Брисено, директор так называемой "Ассоциации разработчиков смарт-карт" или SDA (Smartcard Developer Association), представляющей интересы разработчиков программного обеспечения для смарт-карт. Избрав своей целью стойкость GSM к попыткам клонирования, исследователи занялись обратной разработкой модуля SIM. Это та самая смарт-карта, что вставляется в сотовый телефон, содержит алгоритмы A3-A8 и однозначно идентифицирует абонента. В процессе подготовки к работам по вскрытию содержимого чипа, в руки к исследователям неисповедимыми путями попало описание "алгоритма COMP128" - наиболее широко распространенной практической реализации A3-A8 в SIM-модулях. Эта документация помогла быстрее и полностью восстановить всю необходимую информацию о схеме. После этого Брисено пригласил для ее анализа двух молодых, но уже известных криптоаналитиков, аспирантов Калифорнийского университета в Беркли Дэвида Вагнера и Иэна Голдберга. Тем понадобилось всего несколько часов, чтобы отыскать в схеме фатальные прорехи и разработать метод извлечения из карты секретного содержимого с помощью всего 219 опросов чипа смарт-карты. (?! очередной бред - столько опросов смарт-карты надо делать, если не знаешь алгоритма, а ведь документы у них были ). 

Взлом A3-A8: слишком элементарен: достаточно прочитать описание и если не понятно все еще, то обратить внимание на факт, изменяя байты i+16, i+24 ввода COMP128 мы можем надеяться на коллизию в байтах i, i+8,i +16, i+24 после двух раундов шифрования. Парадокс дней рождения (если считать, что дни рождения распределены равномерно, то в группе из 24 человек с вероятностью 0,5 у двух человек празднования дней рождения совпадут) гарантирует это довольно быстро (так как всего 4 байта). Коллизия в втором раунде будет обнаружена после выявления коллизия в общем выводе COMP128. И каждая коллизия может использоваться для изучения байт i, i+8 ключа на основе дифференциального анализа. 

Взлом A5/2 : (Хотя в MoU признают, что вскрываемость шифра и была целью разработки A5/2, тем не менее в официальных результатах анализа SAGE сказано, что им неизвестно ни о каких криптографических дефектах в A5/2.. Xa-xa-ха - это же для России. Какие дефекты могут быть в решете? Вывод: носите воду в решете. ) Известно, что в этой схеме добавлен еще один короткий регистр длиной 17 бит, управляющий движением бит в остальных трех регистрах, для вскрытия системы достаточно лобовым перебором (сложность 216 = 65536 отыскать заполнение управляющего регистра. Делается это всего по двум фреймам сеанса связи длиной по 114 бит (в системе GSM первые два фрейма шифр-последовательности известны, поскольку шифруются одни нули). Про остальное вы нигде информации не найдете, поэтому я дам подсказку: A5- криптосхема на основе регистров сдвига с линейной обратной связью имеет комбинирующий генератор для получения шифрующей последовательности. Поэтому надо использовать слабости в комбинирующей функции, которые позволяют по выходной последовательности получить информацию об отдельных входных последовательностях узла усложнения. В этом случае говорят, что имеется корреляция между выходной последовательностью и одной из внутренних последовательностей. Вследствие такой корреляции отдельная внутренняя последовательность может быть проанализирована индивидуально вплоть до восстановления начального заполнения соответствующего регистра, затем внимание надо переключить на одну из других внутренних последовательностей. Подобным способом может быть восстановлен весь генератор - этот метод часто называют атака "разделяй-и-вскрывай". Причем первым из регистров надо выбрать тот, который проще чем остальные восстановить.