農業機械的起源可以追溯到原始社會使用簡單農具的時代。在中國，新石器時代的仰韶文化時期（約公元前5000～前3000）就有了原始的耕地工具──耒耜。公元前13世紀就已使用銅犁頭進行牛耕。到公元前3世紀的春秋戰國時代，已經擁有耕地、播種、收獲、加工和灌溉等一系列鐵、木制農具。公元前90年前后，趙國發明的三行耬，即三行條播機，其基本結構至今仍被應用。到 9世紀已形成結構相當完備的畜力鏵式犁。在《齊民要術》（約540）、《耒耜經》（約880）、王禎《農書》（約1310）、《天工開物》（1637）等古籍中，對各個時期農業生產中使用的各種機械和工具都有詳細的記載。在西方，原始的木犁起源于美索不達米亞和埃及，約公元前1000年開始使用鐵犁鏵。

19世紀至20世紀初，是發展和大量使用新式畜力農業機械的年代。1831年，美國的C.H.麥考密克創制成功馬拉收割機。1836年出現了第一臺馬拉的谷物聯合收獲機。1850～1855年間，先后制造并推廣使用了谷物播種機、割草機和玉米播種機等。20世紀初，以內燃機為動力的拖拉機開始逐步代替牲畜，作為牽引動力廣泛用于各項田間作業，并用以驅動各種固定作業的農業機械。

20世紀30年代后期，英國的H.G.弗格森創制成功拖拉機的農具懸掛系統，使拖拉機和農具二者形成一個整體，大大提高了拖拉機的使用和操作性能。由液壓系統操縱的農具懸掛系統也使農具的操縱和控制更為輕便、靈活。與拖拉機配套的農機具由牽引式逐步轉向懸掛式和半懸掛式，使農機具的重量減輕、結構簡化。40年代起，歐美各國的谷物聯合收獲機逐步由牽引式轉向自走式。60年代，水果、蔬菜等收獲機械得到發展。自70年代開始，電子技術逐步應用于農業機械作業過程的監測和控制，逐步向作業過程的自動化方向發展。