河内国大鳥郡（現在の大阪府堺市）に生まれる。681年に出家、官大寺で法相宗などの教学を学び、集団を形成して関西地方を中心に貧民救済・治水・架橋などの社会事業に活動した。704年に生家を家原寺としてそこに居住した。その師とされる道昭は、入唐して玄奘の教えをうけたことで有名である。

民衆を煽動する人物であり寺外の活動が僧尼令に違反するとし、養老元年4月23日詔をもって糾弾されて弾圧を受けた。だが、行基の指導により墾田開発や社会事業が進展したこと、地方豪族や民衆らを中心とした教団の拡大を抑えきれなかったこと、行基の活動が政府が恐れていた「反政府」的な意図を有したものではないことから、731年（天平3年）弾圧を緩め、翌年河内国の狭山下池の築造に行基の技術力や農民動員の力量を利用した。736年（天平8年）に、インド出身の僧菩提僊那がチャンパ王国出身の僧仏哲・唐の僧道璿とともに来日した。彼らは、九州の大宰府に赴き、行基に迎えられて平城京に入京し大安寺に住し、時服を与えらている。

民衆のために活躍した行基は740年（天平12年）から大仏建立に協力する。このため「行基転向論」（民衆のため活動した行基が朝廷側の僧侶になったとする説）があるが、一般的には権力側が行基の民衆に対する影響力を利用したのであり、行基が権力者の側についたのではないと考えられている。741年（天平13年）3月に聖武天皇が恭仁京郊外の泉橋院で行基と会見し、同15年東大寺の大仏造造営の勧進に起用されている。勧進の効果は大きく、745年（天平17年）に朝廷より日本最初の大僧正の位を贈られた。

行基の活動と国家からの弾圧に関しては、奈良時代において具体的な僧尼令違反を理由に処分されたのは行基のみと言われている。そのため、それぞれに対して、同時代の中国で席捲していた三階教教団の活動と唐朝の弾圧との関連や影響関係が指摘されている。

三世一身法が施行されると灌漑事業などをはじめ、前述の東大寺大仏造立にも関わっている。大仏造営中の749年（天平21年）、菅原寺で81歳で入滅し、生駒市の往生院で火葬後竹林寺に遺骨が奉納された。また、菅原寺から往生院までの道則を行基の弟子が彼の腰をかついで運搬したことから、往生院周辺の墓地地帯は別名、輿山とも呼ばれている。また、朝廷より菩薩の称号が下され、行基菩薩と言われる。なお、行基が迎えた菩提僊那は、752年、聖武天皇（749年に退位し当時は、太上天皇）の命により、東大寺大仏開眼供養の導師を勤めた。