Việc tìm ra nguồn gốc âm nhạc so với các bộ môn nghệ thuật khác là một việc làm khó khăn hơn cả. Với nghệ thuật điêu khắc và kiến trúc, người ta có thể căn cứ vào các công trình và di tích khảo cổ để phát hiện ra được nền văn minh của một thời đại. Với hội họa người ta có thể tìm được những bức tranh vẽ trên các hang đáđể biết về những bậc tiền bối của mình. Nhờ có chữ viết nên hôm nay mới tồn tại được những áng thơ văn bất hủ để cho chúng ta thưởng thức... Với âm nhạc - một bộ môn của nghệ thuật âm thanh, mà âm thanh thì không thể lưu giữ mãi trong thời gian. Mặt khác lối viết nhạc trên giấy cũng chỉ mới hình thành cách đây hơn một nghìn năm. Việc đó quả thật khó khăn cho những nhà khoa học khi muốn tìm về nguồn gốc của âm nhạc.
Tuy nhiên những trở ngại đó không phải là vô vọng. Nhờ thông qua các loại hình nghệ thuật khác như hội họa, điêu khắc... để chúng ta biết về hình dáng của những nhạc cụ cổ xưa và khả năng diễn tấu của chúng. Qua những áng văn thơ cổ mà chúng ta biết được ngôn ngữ của các lời ca và sinh hoạt âm nhạc lúc bấy giờ. Ngoài ra còn có thể căn cứ vào các bài dân ca để biết về nguồn gốc của chúng... từ những cứ liệu đó chúng ta có thể trình bày một cách sơ lược về nguồn gốc của âm nhạc như sau:
Trong xã hội nguyên thủy, mọi người thường tụ tập nhau lại sau một ngày lao động vất vả. Họ trao đổi với nhau về những kinh nghiệm trong sản xuất, săn bắn, và những câu chuyện được kể cho nhau nghe... Ai có những câu chuyện hay lại có giọng kể vang xa, hấp dẫn thì lôi kéo được nhiều người nghe. Và giọng nói lúc này đã trở nên một công cụ để giao lưu, truyền tin, thông báo đến với mọi người lẫn cả việc cầu cứu nhau khi gặp phải hoạn nạn...Để có được một giọng nói to và vang, lại có sức hấp dẫn thì phải cần đến kỷ thuật của giọng hát và như thế giọng hát là một trong những loại hình nghệ thuật âm nhạc được hình thành đầu tiên của tổ tiên chúng ta.
Cùng với sự hình thành của âm điệu tiếng nói, âm nhạccòn được bắt nguồn từ nhịp điệu lao động. Đó là những tiếng “hò dô” của một nhóm người khi họ muốn vận chuyển một vật nặng, hoặc những tiếng “hò khoan, hò hụi” khi con người chèo thuyền qua những giòng sông ghềnh thác... Ngoài ra nhịp điệu của âm nhạc còn được bắt nguồn từ yếu tố sinh lý của con người như:nhịp đi, hơi thở, nhịp đập của con tim... bên cạnh đó cũng phải kể đến các nghi lễ tôn giáo, các trò ma thuật cũng góp phần hình thành nên nghệ thuật âm nhạc.
Với những cứ liệu như đã nói ở trên, chúng ta thấy rằng nghệ thuật âm nhạc được hình thành từ thuở sơ khai của con người. Các nhân tố để hình thành nên nó là âm điệu tiếng nói của con người cùng với nhịp điệu lao động, nhịp điệu sinh lý đã tạo nên hai yếu tố quan trọng nhất của âm nhạc là GIAI ĐIỆU và TIẾT TẤU.
Không thỏa mãn với giọng hát của chính mình, con người đã tiến thêm một bước mới nữa đó sáng tạo nên các nhạc cụ. Ban đầu là những nhạc cụ được chế tạo bằng đá hoặc xương thú. Tiếp theo là các loại nhạc cụ có dây căng với độ dài ngắn khác nhau để thể hiện các độ cao (đây cũng là tiền thân của các nhạc cụ dây về sau). Các nhạc cụ hơi được bắt nguồn từ việc con người phát hiện ra những thân cây mục rỗng khi có gió thổi vào thì phát ra âm thanh và các ống sáo được hình thành từ những ống sậy được khoét lỗ qua bàn tay khéo léo của con người (ngoài ra còn có tù và được làm từ sừng và các ống xương).
Việc hình thành giọng hát và các loại nhạc cụ đã đánh dấu một bước phát triển mới của âm nhạc. Đó cũng là một quá trình sáng tạo được bắt nguồn từ trong lao động vàsinh hoạt của loài người thuở xa xưa.
So với giọng hát thì nhạc cụ không được mượt mà và uyển chuyển bằng, nhưng nhạc cụ lại hơn hẳn giọng hát về âm vực cũng như khả năng diễn tấu ở tốc độ nhanh, bên cạnh đó nhạc cụ cũng rất đa dạng với nhiều âm sắc khác nhau. Có thể nói trong quá trình phát triển của nghệ thuật âm nhạc thì giọng hát và nhạc cụ luôn luôn ảnh hưởng nhau và thúc đẩy nhau cùng phát triển. Nghệ thuật nhạc hát và nhạc đàn luôn luôn song hành cùng nhau để thể hiện những tác phẩm từ đơn giản cho đến phức tạp trong quá trình phát triển của nghệ thuật âm nhạc.
Sinh hoạt âm nhạc của thời nguyên thủy luôn luôn hướng đến phục vụ cho tập thể cộng đồng con người. Lúc này chưa xuất hiện âm nhạc chuyên nghiệp, mà chỉ có âm nhạc tự biên, tự diễn, âm nhạc mang tính tự phát là chủ yếu. Những tác phẩm âm nhạc của thời kỳ này được gọi là những tác phẩm âm nhạc dân gian, đó là những sáng tác của một tập thể nhân dân lao động được truyền từ đời này qua đời khác.
Khi chế độ công xã nguyên thủy tan rã, chế độ chiếm hữu nô lệ ra đời, xã hội bắt đầu có sự phân chia giai cấp, có tầng lớp giàu nghèo, có kẻ bóc lột và người bị bóc lột thì cũng là lúc nghệ thuật âm nhạc bước sang một ngã rẽ mới, chịu sự ảnh hưởng của sự phân hóa xã hội.
Sự phân chia các đẳng cấp trong xã hội đã là một nguyên nhân cho các bài hát của những người nô lệ, những kẻ làm thuê, những người dân nghèo thành thị được ra đời. Đó là những lời tâm sự, là tiếng kêu than, là niềm vui và nỗi buồn của những người dân lao động cùng cực trong xã hội bấy giờ. Và lần đầu tiên trong lịch sử âm nhạc đã hình thành nên dòng âm nhạc chuyên nghiệp .
Trước tiên đó là âm nhạc chuyên nghiệp bình dân. Họ là những nhạc công nghèo xuất thân từ tầng lớp lao động, là những người hát rong lấy âm nhạc để làm kế mưu sinh. Hành trang của họ là những bài dân ca, hoặc những sáng tác mới mang âm hưởng dân ca. Trong số họ nổi lên những người xuất sắc được tuyển chọn vào phục vụ cho các bậc vua chúa và cung đình. Chính những người nhạc công này đã xây dựng nên một nền âm nhạc mới đó là âm nhạc chuyên nghiệp quý tộc và cung đình.
Một số những nhạc công xuất thân từ tầng lớp lao động trên lại được tuyển chọn vào phục vụ trong các nhà thờ, và họ là những người đầu tiên đặt nền móng cho nền âm nhạc chuyên nghiệp tôn giáo.
Như vậy âm nhạc ở thời kỳ cổ đại được phân chia thành nhiều dòng khác nhau, đó là âm nhạc dân gian và âm nhạc chuyên nghiệp bên cạnh còn có âm nhạc tôn giáo, tuy nhiên âm nhạc tôn giáo ở thời kỳ này chỉ chiếm một vị trí nhỏ bé.
Với thời kỳ cổ đại, âm nhạc đã tiến một bước khá xa và ngày càng khẳng định vai trò cũng như tác dụng của nó đối với xã hội. Nó đã khiến một số nhà trí thức lúc bây giờ để ý tới, đó là những nhà toán học, triết học, chiêm tinh gia, nhà thơ, nhà viết kịch xuất sắc. Một vài người trong số họ đã tham gia vào công việc hoạt động và sáng tạo âm nhạc, cũng như giảng dạy và chế tạo nhạc cụ, như Homère (nhà thơ), Pitago (nhà toán học - TKVI TCN), Eschyle (nhà viết kịch, 525 - 456 TCN), Sophocle (nhà viết kịch, 497 - 406 TCN), Euripide (nhà viết kịch, 480 - 479 TCN), Khổng Tử (nhà triết học, 551 - 497 TCN)... Việc tham gia của một số nhà trí thức đã góp phần cho nghệ thuật âm nhạc của thời kỳ cổ đại đạt được một số thành tựu đáng kể lúc bấy giờ trên các lĩnh vực như: lý thuyết, khoa học âm nhạc, thẩm mỹ, sư phạm và chế tạo nhạc cụ.
