Karl Axel Pehrson växte upp i Örebro. Han var bror till konstnären Karl Gustaf Pehrson (1914-92). Karl Axel Pehrson studerade vid Edvin Berggrens Målarskola i Stockholm 1937, från 1938 på Otte Skölds Målarskola i Stockholm och 1940-46 vid Konstakademien. Han tillhörde 1947 års män och deltog med dem på utställningen Ung konst 1947. Han hade sin första separatutställning 1954 på Galleri Blanche i Stockholm.
Utöver målningar, tidigare konkreta och senare oftast fantasilandskap, har Karl Axel Pehrson formgivit mönster för tryckta tyger, bland annat 1954 Delfinsk rörelse som ingick i Astrid Sampes Signerad textil. Han har också formgivit det svenska filmpriset Guldbaggen 1964, en emaljerad och förgylld kopparskalbagge.