在他仅仅18个月大的时候，他们举家搬到了爱达荷州的一个绵羊牧场。他的母亲默特尔·坎宁汉（Myrtle Cunningham）负责管理一个牧场。哈利·赫斯基就是在这样一个距离沙漠仅仅50英里的地方成长的。
就成长的家庭环境来说，哈利·赫斯基的经历和乔布斯非常相似，用我们今天的话来说叫“寒门”。不过小赫斯基跟童年的乔布斯也很相似，就是非常爱玩，他那位闯荡过西部的叔叔随后也来到牧场，对他的成长也有一定的影响。
牧场上有很多乱七八糟的东西，小赫斯基能玩的东西非常多。还不满五岁的哈利·赫斯基利用一些散落的农场工具，还有木头制作出了一个屏幕。这个屏幕没什么实际作用，但可以作为一个很好的玩具。哈利·赫斯基小时候的兴趣在数学上，跟电子交集甚少，一直到高中才第一次真正接触到电子设备，而且给他的记忆还不那么好。
他曾经在接受威廉·阿斯普雷（William Aspray）的采访时回忆道：“我们表演了《死神假期》（Death Takes a Holiday）。我是剧组的电工，负责布置照明设施并在演出过程中管理配电板。配电板上有一个伸出来的长长的把手，可以关掉所有电源。在演出期间，我想坐在一把椅子上，但我碰到了那个开关把手，因此所有的灯光都熄灭了！”
不过幸运的是，哈利·赫斯基的大学生涯都是在他喜爱的数学中度过的。作为家族里的第一个大学生，赫斯基在1937年从爱达荷大学毕业并获得了数学和物理学学士学位。随后又在俄亥俄州立大学拿到了数学硕士和博士学位。本科期间，他曾在俄亥俄大学进行短暂学习，曾利用继电器设计了一台自动计算机，不过他最终放弃了。
离开俄亥俄州立大学的教学岗位之后，1944年，哈利·赫斯基来到宾夕法尼亚大学向海军学生教授数学，期间他与该校莫尔电气工程学院的两个政府机密项目签订了兼职协议。一个项目是ENIAC（电子数值积分计算机），另一个是EDVAC（电子离散变量自动计算机）。这是他与电子计算机的第一次正式接触。
