Firma została założona 16 czerwca 1911 r. jako Computing Tabulating Recording Company (CTR). W 1914 roku zatrudniała ponad 1,3 tys. pracowników i miała przychody na poziomie 9 mln dolarów. Rok później na wszystkich głównych liniach kolejowych USA stosowano technologie firmy do automatyzacji oraz rozkładów jazdy. W 1920 r. Bank of Detroit zaczął używać urządzeń firmy do automatycznego liczenia pieniędzy na podstawie ich wagi.
W 1924 r. CTR zmieniła nazwę na IBM Corporation, w 1930 r. zarejestrowała patent na system sygnalizacji świetlnej ruchu ulicznego, a w 1935 r. otworzyła pierwsze biuro w Polsce - w Warszawie. W latach 50. firma produkująca dotychczas maszyny liczące zaczęła rozwijać komputery lampowe. W 1957 r. przychody IBM osiągnęły 1 mld dolarów, a 1960 r. liczba pracowników przekroczyła 100 tys. W 1969 r. komputery IBM były wykorzystywane przez NASA w trakcie pierwszej misji człowieka na księżycu. Na początku lat 80. firma zaprezentowała swój komputer osobisty.
W połowie lat 80. przychody przekroczyły 50 mld dolarów. W latach 90. firma zaczęła koncentrować się na nowych obszarach biznesu - usługach i oprogramowaniu. W 1991 r. powstał IBM Polska. W 2005 r. IBM sprzedał swój dział komputerów PC chińskiej firmie Lenovo.
Dyrektor generalna IBM Polska Anna Sieńko przedstawiła czwartkowej konferencji strategię biznesową firmy do 2015 r. Zgodnie z nią dochody IBM z analityki biznesowej wzrosną do tego czasu do 16 mld dolarów. W strategii tej przedstawiciele firmy powołują się też na dane IDC, zgodnie z którymi w ciągu najbliższych 10 lat ilość danych na świecie wzrośnie 29-krotnie - do 35 zettabajtów (1 oraz 21 zer). IBM zatrudnia 7,8 tys. ekspertów i konsultantów od analityki i jak odtąd przejął za ok. 14 mld dolarów 25 firm oferujących rozwiązania analityczne.
Ze strategii wynika również, że w 2015 r. 7 mld dochodów firmy będzie pochodzić z tzw. cloud computing (chmura obliczeniowa). To model oparty na użytkowaniu usług dostarczonych przez zewnętrzne firmę, dostępnych za pośrednictwem internetu. Ponieważ cloud computing ma charakter mierzalny, odbiorca płaci jedynie za rzeczywiste korzystanie z zasobów, podobnie jak za wodę, gaz, czy elektryczność.
Przychody IBM z rynku wzrostów mają stanowić 30 proc. przychodów całkowitych firmy. Na największych rynkach rosnących, takich jak Indie, Chiny i Brazylia, IBM zamierza podwoić ilość oddziałów. Na mniej rozwiniętych rynkach, takich jak państwa afrykańskie, IBM zamierza uczestniczyć projektach dotyczących sektorów finansowego i telekomunikacyjnego.
Dochody z działalności związanej z rozwojem tzw. inteligentnych systemów - np. inteligentne zarządzanie ruchem drogowym, inteligentny przesył energii - mają do 2015 r. wzrosnąć do 10 mld dolarów. Takie projekty są obecnie prowadzone m.in. w Szanghaju, Seulu, Sydney, Helsinkach, Rotterdamie, San Franciso i Waszyngtonie.
