【我要疯狂了】自学日语难不难?

话说自从迷上P后,我就很想学日语,不过本人是已经工作的,业余时间并不是很多,所以才拖到现在,请问一下一写学过日语或者正在学日语的亲们,如果我要自学的话,会不会很难啊?
另外先声明一下,我的语言能力还不错的,这是我们家的遗传,哈哈!