Een lerares Engels beweert dat:"I was allowed talking to them" correct Engels is, de hele klas vindt dat "I was allowed to talk to them" correct is

De lerares heeft gelijk.
I was allowed talking to them
is spreektaal en die extra "to"die jullie er bij willen is overbodig.

Maar
I was allowed to talk to them is ook goed engels.

Er is een klein nuance verschil in betekenis.

Kwestie van aanvoelen.

I was allowed talking to them is goed Engels. Zoals je in tweede instantie schrijft; 'I was allowed TO talking to them' is geen correct Engels, het mag wel zijn; 'I was allowed to talk with them.
Het enige verschil zit in het gevoel. Indien je zegt; "I was allowed to talk with them", betekent dit dat het je was toegestaan even met hen te spreken.
"I was allowed talking to them", betekent dat je toestemming had om langer met hen te spreken.
Het ligt dus aan context van de zin welke gebruikt wordt.
Overigens; at all not is fout zoals je al aanvoelt.
Engelsen zeggen; not at all!

Volgens mij:

I was allowed talking to them =
Het werd mij toegestaan met hen te (blijven) spreken

I was allowed to talk to them =
Ik kreeg toestemming om met hen te gaan praten.

De een is dus het laten voortbestaan van een reeds bestaande toestand, de ander is het verlenen van toestemming voor een voorgenomen maar nog niet gerealiseerde toestand.

This is not difficult, at all not!

Beiden zijn goed.
En vanuit mijn werk in Engeland hoor ik van alles door elkaar wat ik vroeger op school anders geleerd heb.
Ben het met de eerdere antwoorden eens, het is veelal een beetje aanvoelen tussen spreektaal en schrijftaal.
Daarnaast is iedere taal aan verandering onderheving.

"This is not difficult, at all not" dat begrijp ik niet van die lerares Engels.

Toegevoegd na 1 minuut:
*onderheving = onderhevig
(met dank voor autoaanpassing op mijn pc, haha)

Het werkword to allow wordt altijd gevolgd door de "to infinitive" bijvoorbeeld allowed to talk. Of the "object + to infinitive", bijvoorbeeld: I allowed her (object) to talk (to +infinitive) to them.
Gebruik van de -ing form kan alleen in deze zin als je zegt: I was allowed to be talking to them. Your teacher needs to go back to school!