ประวัติความเป็นมาของโครงข่ายประสาทเทียม

      ในปี พ.ศ. ๒๔๘๖ อาจถือได้ว่าเป็นปีแห่งการกำเนิดของสาขาโครงข่ายประสาทเทียมในวงการวิทยาศาสตร์โดย แม็คคัลลอช (Mc Culloch) และ พิทส์ (Pitts) ได้เสนอแบบจำลองของเซลล์ประสาท และได้แสดงให้เห็นว่าในทางทฤษฎีแล้วโครงข่ายของแบบจำลองเซลล์ประสาทดังกล่าวสามารถทำงานเป็นโปรแกรมคอมพิวเตอร์ใด ๆ ก็ได้  ปี พ.ศ. ๒๔๙๒ โดนัลด์ เฮบบ์ (Donald Hebb) ได้เสนอผลงานวิจัยว่าการเรียนรู้ของสมองสามารถอธิบายได้ด้วยรูปแบบของการประกอบเซลล์ประสาทเข้าด้วยกันเป็นโครงข่ายและได้เสนอกฏการเรียนรู้ของเฮบบ์ (Hebb's rule) ที่ทำให้โครงข่ายของเซลล์ประสาทเทียมที่แม็คคัลลอชและพิทส์ได้เสนอไว้สามารถเรียนรู้ปัญหาง่าย ๆ ได้สำเร็จ  การเรียนรู้ในแบบของเฮบบ์บนเซลล์ประสาทเทียมของแม็คคัลลอชและพิทส์นั้นเป็นการเรียนรู้แบบ "ไม่มีผู้สอน" ซึ่งในทางปฏิบัติแล้วโครงข่ายประสาทเทียมที่ทำการเรียนรู้จะพยายามทำการจัดกลุ่มข้อมูลที่โครงข่ายมองว่าคล้ายคลึงกันนำไปไว้ในกลุ่มเดียวกันซึ่งไม่เหมาะสมกับปัญหาประเภทที่ต้องมีการควบคุมกระบวนการเรียนรู้ 
      ในช่วงพุทธทศวรรษ ๒๔๙๐ คอมพิวเตอร์ที่ทำงานเลียนแบบสมองเครื่องแรกของโลกถูกสร้างและทดสอบโดย มินสกี้ (Minsk) ซึ่งได้เสนอผลงานดังกล่าวในปี พ.ศ. ๒๕๑๑ เมื่อคอมพิวเตอร์ดังกล่าวได้รับการป้อนตัวอย่างสำหรับการเรียนรู้เข้าไปก็จะสามารถปรับอัตราการขยายสัญญาณในการเชื่อมโยงหรือ "ความแข็งแรงของการเชื่อมโยง" ระหว่างเซลล์ประสาทเทียมได้เองโดยอัตโนมัติ ซึ่งเป็นการแสดงการเรียนรู้ตัวอย่างที่ถูกป้อนเข้าไป  ในปี พ.ศ. ๒๕๐๑ แฟรงค์ โรเซ็นแบลทท์ (Frank Rosenblatt) ได้พัฒนาสถาปัตยกรรมโครงข่ายประสาทเทียมขึ้นโดยใช้แบบจำลองของแม็คคัลลอชและพิทส์เป็นแนวทางรวมทั้งเสนอวิธีการเรียนรู้แบบใหม่สำหรับสถาปัตยกรรมโครงข่ายประสาทเทียมดังกล่าวด้วย  โครงข่ายประสาทเทียมดังกล่าวเรียกว่า เพอร์เซพตรอน (Prceptron) ซึ่งมีการเรียนรู้แบบ "มีผู้สอน" (supervised learning)  โดยการปรับความแข็งแรงของการเชื่อมโยงซึ่งจะพิจารณาได้จากการเปรียบเทียบความรู้ของโครงข่ายประสาทเทียมกับความรู้ของ "ผู้สอน" (teacher) เพอร์เซพตรอนมีความเหมาะสมกับงานประเภท "การระบุชนิด" ซึ่งในระหว่างการเรียนรู้นั้นเพอร์เซพตรอนจะถูกสอนว่าข้อมูลตัวอย่างที่สอนเข้าไปแต่ละแบบนั้นจัดเป็นชนิดใดบ้าง หากปัญหาและข้อมูลตัวอย่างมีความเหมาะสมเพอร์เซพตรอนจะสามารถระบุชนิดของข้อมูลที่ไม่เคยเห็นมาก่อนได้ถูกต้อง 
      ในช่วงต้นพุทธทศวรรษ ๒๕๐๐ เบอร์นาร์ด วิโดรว (Bernard Widrow) และ มาร์เชียน ฮอฟฟ์ (Marcian Hoff) ได้พัฒนาอุปกรณ์ที่เรียกว่า อดาไลน์ (ADALINE;Adaptive Linear combiner) และกฏการเรียนรู้แบบใหม่ที่มีประสิทธิภาพสูงเรียกว่า กฏการเรียนรู้ของวิโดรว-ฮอฟฟ์ (Windrow-Hoff learning rule) ที่เป็นการเรียนรู้แบบ "มีผู้สอน" ซึ่งในเวลาต่อมาอุปกรณ์ดังกล่าวได้รับการขยายแนวคิดไปเป็น มาดาดไลน์ (MADALINE; Many ADALINEs) และได้ถูกนำไปประยุกต์ใช้ในการรู้จำรูปแบบ (pattern recognition) การพยากรณ์อากาศและระบบควบคุมที่จำเป็นต้องมีการปรับเปลี่ยนระบบไปตามสภาพแวดล้อมต่าง ๆ  อย่างไรก็ตามในขณะที่การค้นคว้าเพื่อพัฒนาคอมพิวเตอร์ที่มี "ปัญญา" ได้ดำเนินไปในแนวทางของการศึกษาและได้พยายามอธิบายการทำงานของระบบประสาทของสิ่งมีชีวิตอีกแนวทางหนึ่งที่สามารถดำเนินควบคู่กันไปได้ คือ แนวทางการค้นคว้าที่พยายามจะอธิบายพฤติกรรมที่เกี่ยวข้องกับปัญญาของมนุษย์ในเชิงโครงสร้างของเหตุและผลโดยใช้สัญลักษณ์ในการแทนแนวคิดของมนุษย์และดำเนินการกับสัญลักษณ์เหล่านั้นด้วยกระบวนการในลักษณะของคณิตศาสตร์ผลลัพธ์ที่ได้จากกระบวนการดังกล่าวอาจถือได้ว่าเป็นการตอบสนองที่มนุษย์น่าจะทำภายใต้เงื่อนไขเดียวกัน แนวทางดังกล่าวนำไปสู่พัฒนาการของสาขาปัญญาประดิษฐ์ (Artificial Intelligence) และจิตวิทยาการเรียนรู้ (Cognitive Psychology) ในช่วงพุทธทศวรรษ ๒๕๑๐ และพุทธทศวรรษ ๒๕๒๐

      ในปี พ.ศ. ๒๕๑๒ มินสกี (Minsky) และ พาเพิร์ต (Papert) ได้เสนอผลงานตีพิมพ์ในรูปของหนังสือซึ่งในหนังสือดังกล่าวมีการระบุข้อจำกัดทางทฤษฎีของเพอร์เซปตรอน ผลงานตีพิมพ์ดังกล่าว ก่อให้เกิดแนวคิดด้านลบต่อการพัฒนาระบบประมวลผลแบบโครงข่ายของเซลล์ประสาทและเป็นจุดเริ่มต้นจุดหนึ่งของกระแสแนวความคิดที่ว่าการคิดของมนุษย์เป็นการประมวลผลแบบลำดับขั้น (serial processing) เนื่องจากในช่วงเวลาดังกล่าวไม่มีผู้ที่สามารถแก้ไขข้อจำกัดทางทฤษฎีของโครงข่ายประสาทเทียมได้ วิทยาการด้านโครงข่ายประสาทเทียมจึงไม่ได้รับความสนใจจากวงการคอมพิวเตอร์  ในช่วงพุทธทศวรรษ ๒๕๒๐ ผลงานวิจัยด้านโครงข่ายประสาทเทียมในช่วงเวลาดังกล่าวจึงเป็นที่รู้จักในวงแคบ ๆ ของผู้ที่สนใจเท่านั้น  อย่างไรก็ตามในช่วงพุทธทศวรรษ ๒๕๑๐ มีผลงานวิจัยด้านโครงข่ายประสาทเทียมจากประเทศญี่ปุ่นโดย ชุนอิจิ อามาริ (Shun-Ichi Amari) ในปี พ.ศ. ๒๕๑๕ และ พ.ศ. ๒๕๒๐ ต่อมาในปี พ.ศ. ๒๕๒๓ คูนิฮิโก ฟูกูชิมา (Kunihiko Fuku- shima) ได้พัฒนาสถาปัตยกรรมโครงข่ายประสาทเทียมที่มีชื่อว่า นีโอค็อกนิตรอน (neocognitrons) สำหรับการรู้จำรูปแบบภาพลักษณ์โดยเลียนแบบแนวทางการมองเห็นของสิ่งมีชีวิต 
      ในปี พ.ศ. ๒๕๒๕ จอห์น ฮอปฟิลด์ (John Hopfield) ได้เสนอสถาปัตยกรรมโครงข่ายประสาทเทียมสำหรับเป็นหน่วยความจำ แบบแอสโซซิเอทิฟ (associatiov memory) ที่ดึงความจำออกมาโดยใช้ข้อมูลที่มีความเกี่ยวข้องกับความจำนั้นเป็นตัวชี้นำซึ่งเป็นจุดเริ่มที่ทำให้นักวิทยาศาสตร์หันกลับมาสนใจโครงข่ายประสาทเทียมอีกครั้ง  ในช่วงเวลาใกล้เคียงกัน สตีเฟน กรอสเบอร์ก (Stephen Grossberg) และ เกล คาร์เพนเตอร์ (Gail Carpenter) ก็ได้เสนอทฤษฎีของ การกำทอนแบบอะแดปทิฟ (adaptive resonance) และได้พัฒนาโครงข่ายประสาทเทียมอาร์ต (ART Network) ซึ่งในปัจจุบัน ถือว่าเป็นโครงข่ายประสาทเทียมที่มีสมรรถนะสูงที่สุดแบบหนึ่ง จากนั้นโครงข่ายประสาทเทียมกลับมาเฟื่องฟูเต็มที่เนื่องจากผลงานตีพิมพ์ของ เจมส์ แม็กคลีแลนด์ (James McClelland) และ เดวิด รูเมลฮาร์ต (David Rumelhart) ในปี พ.ศ. ๒๕๒๙ ซึ่งเสนอกฎการเรียนรู้แบบใหม่สำหรับสถาปัตยกรรมโครงข่ายประสาทเทียมที่มีความซับซ้อนขึ้น โดยอิงกับเพอร์เซปตรอนโครงข่ายประสาทเทียมดังกล่าวสามารถก้าวข้ามขีดจำกัดที่เคยถูกเสนอไว้โดยมินสกีและพาเพิร์ตตั้งแต่ปี พ.ศ. ๒๕๑๒ ได้สำเร็จ  อย่างไรก็ตามมีการค้นพบว่าแนวทางคล้าย ๆ กันได้เคยถูกเสนอแล้วโดย พอล เวอร์โบส (Paul Werbos) ตั้งแต่ปี พ.ศ. ๒๕๑๗ แต่ไม่มีผู้ใดสนใจในช่วงเวลาดังกล่าวตั้งแต่นั้นมางานวิจัยค้นคว้าด้านโครงข่ายประสาทเทียมก็เกิดขึ้นอีกอย่างมากมายมาจนถึงปัจจุบัน